检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 父主题： 配置CDM作业目的端参数
这个参数是针对数据库导出到CSV文件的场景，如果一张表的数据量比较大，那么导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式
如何使用表达式方式获取当前时间？ 在创建迁移作业时，where语句参数中的时间格式是怎样的？ CDM作业可以将源表中的字段注释迁移到目标端表吗？ 如何查询数据连接创建人？
这个参数是针对数据库导出到CSV文件的场景，如果一张表的数据量比较大，那么导出到CSV文件的时候，会生成一个很大的文件，有时会不方便下载或查看。这时可以在目的端指定该参数，这样会生成多个指定大小的CSV文件，避免导出的文件过大。该参数的数据类型为整型，单位为MB。 JSON格式
b.d.e”、“a.b.d.f”。 fromJobConfig.queryString 否 String 使用Elasticsearch的查询字符串（query string）对源数据进行过滤，CDM只迁移满足过滤条件的数据。 父主题： 源端作业参数说明
SOFTLY：一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断，并重启集群的虚拟机。 restartLevel 否 String 重启级别： SERVICE：重启服务。 VM：重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型，只支持“cdm”。
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务，从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户CDM昨天日志报错发现报错：
入门实践 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS
进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时，会将组内的所有作业都删除。 创建作业的任务配置中，如果已经将作业分配到了不同的分组中，则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。
件名称） 开启路由 开启路由后，支持指定某一列的值作为路由写入Elasticsearch。 说明： 开启路由前建议先建好目的端索引，可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置，用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时，支持手动填写字段。
参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图3 任务配置 单击“保存并运行”，CDM立即开始执行作业。
CDM集群实例 云审计服务 CDM使用云审计服务（Cloud Trace Service，以下简称CTS）记录CDM相关的操作事件，便于日后的查询、审计和回溯，具体如表2所示。 表2 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。 JSON样例 "driver-config-values":
HH:mm:ss, -1, DAY)}', 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句，用于优化Hive表查询速度。 执行的SQL如下： 非分区表：ANALYZE TABLE tablename COMPUTE STATISTICS 分区表：ANALYZE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
