检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速构建所需的数据架构。 图1 数据集成定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。
对于Parquet、ORC的结构化集成场景，判断条件为自定义文件名前缀匹配。 REPLACE：写入前清理自定义文件名前缀匹配的所有文件。例如“自定义文件名”：“abc”，将清理所有abc开头的文件。 APPEND：写入前不进行任何处理 ABANDON：如果目录下存在自定义文件名前缀匹配的文件，直接报错。
String 码表ID，ID字符串。 name_en 是 String 表名称，英文名。 name_ch 是 String 表名称，中文名。 tb_version 否 Integer 表版本。 directory_id 是 String 目录ID，ID字符串。 directory_path
属性值。 fd_id 否 String 属性定义的ID，ID字符串。 directory_id 否 String 标准所属目录，ID字符串。 row_id 否 String 标准所属行，ID字符串。 id 否 String 数据标准的ID，ID字符串。 status 否 String 实
SelfDefinedFieldVO objects 自定义项。 表17 QualityInfoVO 参数 参数类型 描述 id String 编码ID，ID字符串。 table_id String 表ID，只读，ID字符串。 attr_id String 属性ID，只读，ID字符串。 biz_type String
通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产中的数据连接来源于管理中心的数据连接，库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。 约束限制 业务资产和指标资产来自于数据架构
“文件夹模式”为“是”时，才有该参数。文件夹模式下自定义Blob/Clog数据的文件扩展名。 .dat/.jpg/.png 自定义目录层次 选择“是”时，支持迁移后的文件按照自定义的目录存储。即只迁移文件，不迁移文件所归属的目录。 是 目录层次 自定义迁移后文件的存储路径，支持时间宏变量。 说明：
项设置修改此策略。 如果未选上，表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签，用以分类管理作业。 单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 节点状态轮询时间（秒） 设置轮询时
SelfDefinedFieldVO objects 自定义项。 表12 QualityInfoVO 参数 参数类型 描述 id String 编码ID，ID字符串。 table_id String 表ID，只读，ID字符串。 attr_id String 属性ID，只读，ID字符串。 biz_type String
参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割，例如：“data.list”。 fromJobConfig.encodeType
200及之前版本的集群，DWS源端暂不支持NVARCHAR2数据类型。 DWS字符类型字段认为空字符串（''）是空值，有非空约束的字段无法插入空字符串（''），这点与MySQL行为不一致，MySQL不认为空字符串（''）是空值。从MySQL迁移到DWS时，可能会因为上述原因导致迁移失败。 使用GDS
由于RDS上的MySQL默认没有开启LOAD DATA功能，所以同时需要修改MySQL实例的参数组，将“local_infile”设置为“ON”，开启该功能。 如果“local_infile”参数组不可编辑，则说明是默认参数组，需要先创建一个新的参数组，再修改该参数值，并应用到RDS的MySQL实例上。 单击“保存”回到连接管理界面。
选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明： 定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。
管理配置中心：数据架构中提供了丰富的自定义选项，统一通过配置中心提供，您需要根据自己的业务需要进行自定义配置。 数据调研：基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研，输出企业业务流程以及数据主题划分。 主题设计：通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。
同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架，指导各领域进行分类管理。华为信息架构框架，通过政策发文明确信息架构的定义和构成要素，在公司层面建立统一的架构方法。基于ISO8000标准，华为建立了数据质量管理框架和运作机制，每年例行开展两次公司级数据质量度量
参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
从HBase/CloudTable导出数据时，由于HBase/CloudTable是无Schema的存储系统，CDM要求源端数值型字段是以字符串格式存储，而不能是二进制格式，例如数值100需存储格式是字符串“100”，不能是二进制“01100100”。 表1 HBase/CloudTable作为源端时的作业参数
引用函数ID，ID字符串。 l1_id String 主题域分组ID，只读，ID字符串。 l2_id String 主题域ID，只读，创建和更新时无需填写。 l3_id String 业务对象guid，ID字符串。 table_id String 事实表ID，ID字符串。 tb_name
入多个文件（最多50个），默认以“|”分隔，也可以自定义文件分隔符，具体请参见文件列表迁移。 待迁移数据的目录，将迁移目录下的所有文件（包括所有嵌套子目录及其子文件）。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
