检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题： 数据集成（CDM作业）
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。
选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否
Administrator权限的用户。 当前工作空间为企业模式时，通过任务发布方式进行单据的审批操作，不支持提交脚本或者作业进行审批。 开启审批功能时，相关API的请求体需要增加审批人属性，具体见作业开发API。 审批开关的配置、作业和脚本的审批只能在前台界面进行操作。 有实时Pip
待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD
较重要时，可以通过“新增版本”按钮手动增加保存版本。 支持单击右键，可快速复制脚本名称，同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下，MRS Spark SQL和MRS Hive SQL脚本运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。
CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式，如果没有使用WHERE条件进行数据过滤及在字段映射页面添加新字段的需求，选择HDFS方式即可。 HDFS文件方式读取数据时，性能较好，但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。
事件名称 创建API DLMApi createApi 更新API DLMApi updateApi 查询API DLMApi getApi 查询API列表 DLMApi getApiList(Api) 删除API DLMApi deleteApi 发布API DLMApi publishApi
场景说明 本案例基于某电影网站的用户和评分数据，使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集，并同步到OBS和MRS Hive中，然后通过Import GES节点自动生成元数据后，将图数据导入到GES服务中。 图1 业务场景说明 需要额外说明的是
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功，决定执行哪一个IF条件分支。基于图1的样例，说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实
EL表达式用法可参考EL表达式。 根据前一个节点的执行状态进行IF条件判断 场景说明 根据前一个CDM节点是否执行成功，决定执行哪一个IF条件分支。基于图1的样例，说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实
作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 Jar包资源 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径
可选参数，CDM只迁移满足过滤条件的数据。 当前仅支持通过Elasticsearch的query string（即q语法）方式对源数据进行过滤。q语法使用方式介绍如下： 精确匹配时，直接使用column:data格式进行匹配过滤。其中column表示字段名，data表示查询条件，
arm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取： 在DataArts
自然周期调度 解释说明 DataArts Studio支持自然周期的调度方式。通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。 调度依赖就是节点间的上下游依赖关系，在DataArts Studio中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。
数据治理度量维度 数据治理成熟度评估使用调查问卷方式，包括11个治理模块，60多个调查问卷事项，全方面多维度度量了数据治理工作的水平。 数据治理评分卡使用评分卡形式，由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分，作为一个工具手段持续推动
迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。 开放数据服务API接口，支持通过API进行数据服务开发。 商用
Kit），目前提供了REST API SDK包和数据服务SDK包两种开发包，功能和差异如表1所示，您可以根据您的使用场景进行选择。 表1 DataArts Studio 不同SDK包对比 SDK包类型 功能 支持的组件 支持的语言 获取地址 REST API SDK包 REST API SDK是基于DataArts
入作业后默认被当前用户锁定，详情参见编辑锁定功能。 编排作业节点 编排作业节点适用于Pipeline模式的批处理作业和实时处理作业。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
