检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
维度建模 维度建模是从分析决策的需求出发构建模型，它主要是为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表，事实表与维度表通过主/外键实现关联。 典型的维度模
间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 导入模式 导入数据到DWS时，用户可以指定导入模式。 COPY模式，源数据经过管理节点后，复制到DWS的DataNode节点。 UPSERT模式，数据发生主键或唯一约束冲突
配置HBase 目的端参数 表1 Hbase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实
设置CDM告警规则 操作场景 通过设置CDM集群告警规则，用户可自定义监控目标与通知策略，及时了解CDM集群运行状况，从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
配置并行处理算子 并行处理算子可以同时执行多个分支逻辑，分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时，配置API工作流的失败策略。 任一分支失败则终止：表示当并行分支中存在失败情况时，则此API工作流置为失败状态，不再继续执行。 分支失败
配置PostgreSQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
配置MRS Kafka目的端参数 表1 Kafka作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Topic 输入Topic数据库名称。 default 数据格式 写入目的端时使用的数据格式。 CSV：将列按照字段分隔符拼接。 JSON: 将所有列按照指定字段名称拼接为JSON字符串。
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 表3 请求Body参数
参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。
user_groups String 用户组列表，用户组名称逗号分隔（非必填项，但用户、用户组必须二选其一进行配置）。例如："userGroup1,userGroup2"。 users String 用户列表，用户名称逗号分隔（非必填项，但用户、用户组必须二选其一进行配置），例如："user1
其它参数可以自定义，或者保持默认。 创建CDH HDFS连接： 单击CDM集群操作列的“作业管理”，进入作业管理界面。 选择“连接管理 > 新建连接”，进入连接器类型的选择界面，选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”，配置连接参数，依次填写相关信息。URI格式为“hdfs://NameNode
X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 Dlm-Type
参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。
error_msg String 错误信息。 project_id String 项目ID。 domain_id String 用户ID。 user_name String 用户名。 export_resources String 导出资源信息，默认为空。 import_body String
定时创索引 对于持续写入数据到Elasticsearch的流式作业，CDM支持在Elasticsearch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引： 每小时：每小时整点创建新索引，新索引的命名格式为“索引名+年+月+日+小时”，例如“index2018121709”。
配置MongoDB目的端参数 表1 MongoDB作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库 输入或选择数据库名称。单击输入框后面的按钮可以进入数据库的选择界面。 default 集合名 写入数据的集合名，单击输入框后面的按钮可进入集合的选择界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
