检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 说明: 表名支持配置通
业务场景管理”页面创建归属目录。基于规则创建业务场景,需要选择业务场景归属目录,请参见图1创建归属目录。 图1 新建业务场景的归属目录 表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建业务场景 在DataArts St
表1 基本属性 数据连接类型 参数说明 DLI 请见表5的“基本属性”部分 DWS 请见表6的“基本属性”部分 MRS Hive 请见表7的“基本属性”部分 单击“下一步”,在“配置表结构”页面配置如表2所示的参数。 表2 表结构 数据连接类型 参数说明 DLI 请见表5的“表结构”部分
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数
为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *纠错等级 等级越高,水印信息编码位数越长,溯源时误码率越低。需注意高纠错等级需要更大的数据量来保证信息的嵌入完整性。默认为1。 *水印版本 V1版本:嵌入水印时依赖主键列
启有关。本文以未开启企业模式为例进行说明。 图17 新建自定义角色 在角色管理页面,单击“新建”,弹出“创建自定义角色”对话框。 角色名称:标识自定义角色的唯一标识,此处填写为“Developer_DQC”。 角色描述:补充对该角色的相关说明,此处填写为“基于开发者角色,仅保留数据质量权限”。
MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,
PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,
运行取消:作业的状态为“已取消”时,则发送通知。 说明: 调度中的作业手动停止调度时触发告警通知,运行中的作业实例手动停止时触发告警通知。 在作业执行人和作业取消人不一致的场景下,会触发作业取消告警通知。 失败作业重跑成功 说明: 失败重跑后成功且失败的时候发送过失败告警才予以通
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,
SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,
OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明: 删除的文件将无法恢复,如需保留文件,请在删除前备份该桶下的数据。
本并进行调度配置。 说明: 单任务Flink SQL目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 选择目录 选择作业所属的目录,默认为根目录。 责任人 填写该作业的责任人。 作业优先级 选择作业的优先级,提供高、中、低三个等级。 说明: 作业优先级是作业的
数据连接”模块中建立一个到MRS Hive的连接,数据连接名称为“hive1009”。创建MRS Hive连接的操作请参见MRS Hive数据连接参数说明。 关键参数说明: 集群名:已创建的MRS集群。 绑定Agent:已创建的CDM集群。 开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive
MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持j
Oracle作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数
系统弹出“新建分类”对话框,填写相关配置,完成创建分类规则。支持按模板创建(内置)规则和自定义规则两种方式。 图1 配置分类规则 表1 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类,支持内置(按模板添加)和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数
里的实时文件数据传输完成后,导入OBS。 说明: 转储至CloudTable,仅华北-北京一区域支持。 单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》的管理转储任务)。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超
数。 表3 参数说明 参数 说明 重跑类型 选择需要重跑的实例。 重跑当前实例 重跑当前作业及其上下游作业实例 开始时间 仅当“重跑类型”选择“重跑当前作业及其上下游作业实例”时,才需要配置。 设置好开始时间和结束时间,系统会重跑所设置的时间段内的作业实例。 说明: 如果所选的时