检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不限制。 16 源端Hive包含array和map类型时，目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时，会对源数据进行处理，支持成功写入。 因map类型为无序的数据结构，迁移到目的端的数据类型可能跟源端顺序不一致。 Hive作为迁移的目的时，
获取数据连接信息 功能介绍 获取指定类型下的数据连接信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/atlas/data-warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
支持自动生成和自定义两种方式。 自定义的标准编码要求本工作空间内唯一，用于唯一标识一条数据标准记录。详情参考表2。 *数据类型 数据类型有：STRING、BIGINT、DOUBLE、TIMESTAMP、DATE、BOOLEAN、DECIMAL。 不同的系统数据类型可能存在差异，系
数据目录如何可视化展示数据血缘？ 数据血缘在数据目录中展示，首先要完成元数据采集任务，其次数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。
String 作业类型: REAL_TIME：实时处理 BATCH：批处理 singleNodeJobFlag 否 Boolean 是否选择单任务，默认为false。 singleNodeJobType 否 String 单任务类型，作业类型为BATCH时类型可选择如下： DLISQL
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将O
的DWS表中增加自定义字段，同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段，并自定义字段名、选择字段类型、填写字段值。 字段名称：目的端DWS表新增字段的名称。 字段类型：目的端DWS表新增字段的类型。 （可选）字段类型长度：目的端DWS表新增字段类型的长度。
集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS HBase，MRS Hive。
所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称。 应用类型 选择APP应用类型，APP认证方式的API只能授权给APP类型的应用。 IAM：IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置，应用名称固定为华为账号，每个DataArts S
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选MySQL，目的端选DMS Kafka。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的MySQL、DMS
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 hadoop_hdfs_link URI 表示NameNode URI地址。可以填写为：hdfs://namenode实例的ip:8020。 hdfs://IP:8020 认证类型 访问集群的认证类型： SIMPLE：非安全模式选择Simple鉴权。
面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。 可选：单击“新建”，可自定义创建规则。 本例使用系统自定义的规则即可。 创建质量作业。 单击左侧导航“质量作业”。 单击
数据源信息参数说明 参数名 说明 数据连接类型 从下拉列表中选择数据连接类型。 说明： 元数据采集支持丰富的数据源类型，对于DWS、DLI、MRS HBase、MRS Hive、RDS（MySQL）、RDS（PostgreSQL）和ORACLE类型的数据源，首先需要在管理中心创建数据连
ClickHouse连接时，目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时： 若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设置为nullable()，否则写入到MRS ClickHouse的值会为0。 请确认目的端表引擎是否为
MySQL同步到DWS 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill
的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。
查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不
查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选DMS Kafka，目的端选OBS。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含单表、整库场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的DMS
户无权限操作。 动态脱敏订阅仅支持订阅第三方平台中MRS Hive类型的动态脱敏策略，且动态脱敏策略中支持的脱敏规则仅限于数据安全中已支持的规则（暂不支持“自定义/保留前x后y”和“自定义/掩盖前x后y”两个自定义规则），详见表2。 通过订阅生成的动态脱敏策略名为Kafka消息中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
