检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请输入有效的消费组ID。 sumer-group 消费记录策略 消费record策略。 起止时间：根据kafka record元数据TIMESTAMP判断，抽取的record是否符合填入的起止时间范围。当消费到的record到达结束时间，则终止抽取任务。起止时间范围左闭右开:[起
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称，单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。
cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1
"name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName
技术资产”页面，可以对数据开发的作业、节点、表进行查询。 在“类型”筛选区域，单击“搜索全部”按钮并在全部类型中勾选“Job”、“Node”和“Table”，然后单击“确定”。数据开发中的作业对应于Job类型，节点对应于Node类型，表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连
创建DWS连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图3所示。 图3 选择连接器类型 连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如表2所示，可选参数保持默认即可。 表2 DWS连接参数
"name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.hive 否 String 写入数据的数据源。 toJobConfig.database 否 String
数据质量API概览 表1 数据质量API类型 类型 说明 目录接口 目录接口。 规则模板接口 规则模板接口。 质量作业接口 质量作业接口。 对账作业接口 对账作业接口。 运维管理接口 运维管理接口。 任务实例接口 任务实例接口。 质量报告接口 质量报告接口。 导入导出接口 导入导出接口。
技术资产”页面，可以对数据开发的作业、节点、表进行查询。 在“类型”筛选区域，单击“搜索全部”按钮并在全部类型中勾选“Job”、“Node”和“Table”，然后单击“确定”。数据开发中的作业对应于Job类型，节点对应于Node类型，表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连
表的数据。 清除部分数据 约束冲突处理 导入数据到云数据库 MySQL且当迁移数据出现冲突时的处理方式。 insert into：当存在主键、唯一性索引冲突时，数据无法写入并将以脏数据的形式存在。 replace into：当存在主键、唯一性索引冲突时，会先删除原有行、再插入新行，替换原有行的所有字段。
Manager的浮动IP地址。仅支持连接MRS云服务，自建Hadoop集群必须先纳管到MRS云服务才能连接。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1
由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，
由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
Manager的浮动IP地址。仅支持连接MRS云服务，自建Hadoop集群必须先纳管到MRS云服务才能连接。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1
Manager的浮动IP地址。仅支持连接MRS云服务，自建Hadoop集群必须先纳管到MRS云服务才能连接。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1
单击页面右上角的“注册”按钮。 在注册页面，根据页面提示完成账号注册。 为了能够给您提供更好的云服务使用体验，建议您优先完成实名认证。实名认证分为个人账号和企业账号认证，不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证，可以略过此部分内容。 个人账号如何完成实名认证
28个字符。 DQC作业类型 是 数据质量作业的类型： 质量作业 对账作业 质量作业名称 是 DQC作业类型为质量作业时需要配置。选择在数据质量模块中创建的质量作业名称。如何创建质量作业，请参见的新建数据质量作业。 是否忽略质量作业告警 是 DQC作业类型为质量作业时需要配置。
Manager的浮动IP地址。仅支持连接MRS云服务，自建Hadoop集群必须先纳管到MRS云服务才能连接。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1
Manager的浮动IP地址。仅支持连接MRS云服务，自建Hadoop集群必须先纳管到MRS云服务才能连接。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
