检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
b.d.e”、“a.b.d.f”。 fromJobConfig.queryString 否 String 使用Elasticsearch的查询字符串（query string）对源数据进行过滤，CDM只迁移满足过滤条件的数据。 父主题： 源端作业参数说明
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务，从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户
入门实践 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS
*2。 cdm.large：16 cdm.xlarge：32 cdm.4xlarge：128 业务模型 如果大量CDM作业同时执行，当超过当前CDM集群的并发执行作业数时，会导致作业排队，耗时提升。 建议您将迁移作业的运行时间错开，平摊在业务周期内，避免资源紧张导致迁移时间过长。
件名称） 开启路由 开启路由后，支持指定某一列的值作为路由写入Elasticsearch。 说明： 开启路由前建议先建好目的端索引，可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置，用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时，支持手动填写字段。
100000 使用入库时间字段 将一个字段标记为入库时间字段，自动建表时将此字段自动加到建表语句中，写入Hudi时将把此字段的值替换为当前时间，不自动建表时选择已经存在的入库时间字段。 是 入库时间字段名称 “使用入库时间字段”设置为“是”时，呈现此参数。 用于记录写入Hudi的时间。
参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图3 任务配置 单击“保存并运行”，CDM立即开始执行作业。
CDM集群实例 云审计服务 CDM使用云审计服务（Cloud Trace Service，以下简称CTS）记录CDM相关的操作事件，便于日后的查询、审计和回溯，具体如表2所示。 表2 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
“前N行为标题行”选择“是”时才有该参数。选择是否将标题的首行解析为列名，在配置字段映射时会在原字段中显示该列名。 说明： 标题行数大于1时，当前仅支持解析标题的首行作为列名。 列名不支持“&”字符，否则会导致作业迁移失败，需修改CSV文件“&”字符即可正常迁移。 是 编码类型 文件
Hive连接 介绍 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links":
} ] } 其他参数保持不变，单击“保存并运行”。 作业完成后，查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配，请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题： 故障处理类
该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。 fromJobConfig.fileSeparator 否 String “fromJobConfig.inputDir
该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。 fromJobConfig.createSnapshot 否 Boolean 如果配置为“true”，CDM读取HDFS
该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss))}表示：只迁移修改时间为当前时间以前的文件。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“
project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID，获取方法请参见查询集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体的类型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
