检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当您新建或编辑维度后，对维度进行发布，如果同步状态中存在失败，可以对维度表手动进行同步。 同步时，系统将根据“配置中心 > 功能配置”页面中的“数据表更新方式”执行相应的同步操作，详情请参见功能配置。 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 单击“维度表”页签，进入维度表页面。
true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。 scan.incremental.snapshot.chunk.size int 50000 分片
MongoDB连接 介绍 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Cassandra连接参数说明 2.9.3.300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接
Elasticsearch连接参数说明 Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中
Hive连接参数说明 目前CDM支持连接的Hive数据源有以下几种： MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS
DIS连接参数说明 连接DIS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DIS连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的
"yyyy-MM-dd HH:mm:ss")} 举例 以作业调度计划时间的前一天时间作为子目录名称，生成一个OBS路径，EL表达式如下： #{"obs://test/"+DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} 父主题：
高级配置：通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。 sink.case-sensitive：是否对字段大小写字母敏感，可选：true/false，当写入模式为COPY MODE，主键名称含大写字母时，需要设置为true。
高级配置：通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。 sink.case-sensitive：是否对字段大小写字母敏感，可选：true/false，当写入模式为COPY MODE，主键名称含大写字母时，需要设置为true。
DIS连接 介绍 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":
步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称，单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。
申请与审批权限 进行访问权限管理时，除了可以自上而下地通过权限集/角色方式为用户授权外，也支持自下而上的用户权限申请、审批流程。 本章主要描述申请者如何申请权限，以及审批者如何审批权限和回收权限。 前提条件 权限申请前，已完成空间权限集的配置，请参考配置空间权限集。 权限申请前，
图4 创建MRS Hive标准数据表 DROP TABLE IF EXISTS `edge_friends`; CREATE TABLE test_ges.`edge_friends` ( `user1` STRING COMMENT '', `user2` STRING
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
