检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本及作业中引用参数使用介绍 该章节介绍如何在脚本及作业中引用参数，以及引用后的生效范围、是否支持EL表达式和简易变量集等，让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境
户提供了以统计粒度为主题的所有统计数据。 在DataArts Studio数据架构中，维度建模是以维度建模理论为基础，抽象出事实和维度，构建维度模型和事实模型，同时对报表需求进行抽象整理出相关指标体系，通过数据集市构建出汇总模型。 数据架构总览 在DataArts Studio控
授权用户使用DataArts Studio 授权用户使用DataArts Studio 管理中心 根据自身的业务特点和源数据类型，进行数据存储与分析系统的选型，选取合适的云服务用于存储源数据并进行数据查询和分析。然后，创建该云服务相应的数据连接。 新建数据连接 创建DataArts Studio数据连接
辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。 本章节以可视化模式和DDL模式为例，介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式，请参见新建数据库和（可选）新建数据库模式。 已在数据开发模块中创建与数据表类型匹配的数据连接，请参见新建数据连接。
标签是相关性很强的关键字，帮助用户对资产进行分类和描述，方便用户进行查询 7 数据安全 需要对哪些数据源进行访问管理？ 本示例不涉及 支持DLI、DWS和Hive等数据源 需要支持静态脱敏？ 本示例不涉及 支持对DLI、DWS和Hive数据源数据进行静态脱敏 需要支持动态脱敏？ 本示例不涉及 支持对DWS和Hive数据源数据进行动态脱敏
2.9.jar GaussDB数据库 POSTGRESQL GaussDB JDBC驱动请在GaussDB官方文档中搜索“JDBC包、驱动类和环境类”，然后选择实例对应版本的文档，参考文档获取gsjdbc4.jar。 请从对应版本的发布包中获取gsjdbc4.jar 云数据库 SQL
实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”和“作业标签”等维度搜索实例。其中按照“CDM作业”搜索，是从节点的维度搜索，搜索包含该节点的作业实例列表。同时，支持通过“运行状态”和“调度方式”进行筛选作业实例。 作业实例操作 参考访问DataArts
理”页面，如图1所示。 图1 集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。 配置Oracle源端参数、MRS
已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式 Hadoop类型连接
离线处理：对已收集的大量数据进行批量处理和分析，这些任务通常是在计算资源和存储资源方面经过优化，以确保高效的数据处理和分析。这些任务通常是定时（例如每天、每周）执行，主要处理大量历史数据，用于批量分析和数据仓库。 实时处理：对源源不断产生的新数据进行实时处理和分析，以满足业务对数据的即时性
基线管理 为了保障重要任务能按时完成，用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时，将发出告警。 创建基线 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
Manager（MRS 3.x及之后版本）。 进入FusionInsight Manager登录页面，登录FusionInsight Manager（登录用户名和密码找系统管理员获取）。 单击“集群”，在“概览”页签下，从右上方选择“更多 > 下载客户端”。 图2 下载客户端 弹出“下载集群客户端”提
DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs 否 String 主类入口参数 sparkConfig 否 String Spark作业运行参数
DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs 否 String 主类入口参数 sparkConfig 否 String Spark作业运行参数
DLIResources jobClass 否 String 主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 resourcePath 是 String JAR包资源路径 jarArgs 否 String 主类入口参数 sparkConfig 否 String Spark作业运行参数
户可以在集群中创建数据迁移作业，在云上和云下的同构/异构数据源之间批量迁移数据。 数据源 即数据的来源，本质是讲存储或处理数据的媒介，比如：关系型数据库、数据仓库、数据湖等。每一种数据源不同，其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据
开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业
source_sdi节点：为CDM Job节点，通过CDM节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS
在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下，从安全角度，请单击将参数值掩码显示。 删除 在参数值文本框后方，单击，删除作业参数。 常量 新增 单击“新增”，在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符：英文字母、数字、中划线和下划线。
在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下，从安全角度，请单击将参数值掩码显示。 删除 在参数值文本框后方，单击，删除作业参数。 常量 新增 单击“新增”，在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符：英文字母、数字、中划线和下划线。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
