检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 hadoop_hdfs_link URI 表示NameNode URI地址。可以填写为：hdfs://namenode实例的ip:8020。 hdfs://IP:8020 认证类型 访问集群的认证类型： SIMPLE：非安全模式选择Simple鉴权。
面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。 可选：单击“新建”，可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。 单击左侧导航“质量作业”。 单击
数据源信息参数说明 参数名 说明 数据连接类型 从下拉列表中选择数据连接类型。 说明： 元数据采集支持丰富的数据源类型，对于DWS、DLI、MRS HBase、MRS Hive、RDS（MySQL）、RDS（PostgreSQL）和ORACLE类型的数据源，首先需要在管理中心创建数据连
MySQL同步到DWS 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill
的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。
据表。 当“规则类型”选择“自定义规则”，表名选择对应的数据表。 SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。此处需输入完整的SQL语句，定义如何对数据对象进行数据质量监控。 支持对SQL语句进行语义校验，语义校验结果仅供参考。 参数默认值 自定义SQL可设置入参
如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 新增字段 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数
的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。
查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不
全部脱敏为固定值 不支持 不支持 自定义勾选脱敏目标为年、月、日等 其他类型 全部脱敏为固定值 不支持 不支持 不支持 参考：配置Ranger组件中的UDF相关权限 配置MRS Hive数据源动态脱敏策略时，如果选择“SM3”、“自定义/保留前x后y”或“自定义/掩盖前x后y”脱敏规则，
查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不
查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选DMS Kafka，目的端选OBS。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含单表、整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的DMS
户无权限操作。 动态脱敏订阅仅支持订阅第三方平台中MRS Hive类型的动态脱敏策略，且动态脱敏策略中支持的脱敏规则仅限于数据安全中已支持的规则（暂不支持“自定义/保留前x后y”和“自定义/掩盖前x后y”两个自定义规则），详见表2。 通过订阅生成的动态脱敏策略名为Kafka消息中
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选Apache_Kafka，目的端选MRS_Kafka。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景仅支持整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的DMS
才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后，需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择： cdm.large：8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0
单击“下一步”，进入“告警配置”页面。 告警条件选择“子规则告警条件”，表达式可以自定义，此处可配置为“${1}<=0”，表示总行数小于等于0时触发告警。 图4 告警配置 单击“下一步”，进入“订阅配置”页面。 如果开启通知状态，需选择通知类型，并选择主题。通知类型有“触发告警”和“运行成功”两类，可根据实际业务场景选择。
资源管理参数 参数 是否必选 说明 名称 是 资源的名称，只能包含英文字母、数字、中文字符、“_”、“-”，且长度为1~32个字符。 类型 是 选择资源的文件类型： jar：用户jar文件。 pyFile：用户Python文件。 file：用户文件。 archive：用户AI模型文件。支
Hudi 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill
s/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
