检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定集群创建作业 功能介绍 指定集群创建作业接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
服务中，在GES中对最新数据进行可视化图形分析。 场景说明 本案例基于某电影网站的用户和评分数据，使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集，并同步到OBS和MRS Hive中，然后通过Import GES节点自动生成元数据后，将图数据导入到GES服务中。
以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能，即使华为账号下的其他IAM用户无法查看到组内作业，按组批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选
编码类型，例如：“UTF_8”或“GBK”。 toJobConfig.markerFile 否 String 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定，不指定时默认关闭该功能。 toJobConfig.copyContentType 否 Boolean “toJobConfig.output
当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。 finish.txt 自定义目录层次 支持用户自定义文件的目录层次。例如：【表名】/【年】/【月】/【日】/【数据文件名】. csv - 目录层次 指定文件的目录层次，支持时间宏（时间格式为yyyy/MM/dd）。不填默认为不带层次目录。
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 cdm 自动创表 是否自动创建Hudi表。 不自动创建：不自动建表。 不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_2 导入前清空数据 选择目的端表中数据的处理方式。 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。
符请输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置，用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll
配置调度属性 单击“提交”，完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。 场景二：更新数据目录中的元数据，添加新元数据 用户的数据库中新增了数据表，采集数据源中指定的所有表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3
节。 您需要在云数据库RDS服务控制台，创建一个MySQL数据库实例，用于模拟原始数据源。建议创建MySQL数据库时，相关网络参数与DataArts Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致，默认内网互通，否则还需手动打通MySQL数据库与CDM
查询指定发布包详情 功能介绍 用于查询指定的发布包详情信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/release-packages/{package_id} 参数说明
天：配置每日调度时间。 周：选择星期几启动调度，配置调度具体时间。 月：选择几号启动调度，配置调度具体时间。 例如：选择调度周期是周，选择具体时间为15:52，时间选择为星期二。则在调度日期范围内，每周二的15点52分会执行任务。 立即启动 勾选复选框，则表示立即启动此调度任务。 图5 调度信息配置
码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全，本示例从环境变量中获取。 AppSecret：通过认证前准备获取。认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全，本示例从环境变量中获取。
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。
才能将修改后的脚本同步到生产环境。 单击“发布”后，指定审批人，审批人必须是工作空间的管理员或部署者、拥有DAYU Administrator、Tenant Administrator权限的用户，至少指定一个审批人，不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”
*源表名 单击设置选择待脱敏的数据表。 *是否指定列 支持指定列脱敏。开启后您可以对源表中的指定列配置脱敏算法，支持对多列分别配置不同的脱敏算法。 说明： 注意该参数确定后，无法再通过编辑任务修改此选项。 *指定列 开启“是否指定列”时，此参数为必选项。 如果您需要对某列进行脱
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。
请参见配置元数据采集任务，新建并运行元数据采集任务，注意任务中需要选择待查看血缘关系的数据表。 如果此前已创建并运行过待查看数据表的元数据采集任务，此操作可跳过。 启动作业调度 元数据采集完成后，系统基于最新的作业调度实例产生相关的数据血缘关系。 参考访问DataArts Studio实例控制台，登录DataArts
图5 提交作业 提交成功后，单击作业开发页面“启动”按钮，在弹出的启动配置对话框按照实际情况配置同步位点参数，单击“确定”启动作业。 图6 启动配置 表3 启动配置参数 参数 说明 同步模式 数据源通用同步模式： 增量同步：从指定时间位点开始同步增量数据。 全量+增量：先同步全量数据，随后实时同步增量数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
