检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。 缺点：迁移方式耗时较长。 父主题： 车联网大数据零丢失搬迁入湖
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题： 公共数据结构
连接器是CDM内置的连接某种数据源所需的对象模板，目前CDM支持连接OBS、MRS、数据库等多种连接器，并可扩展增加新的连接器。 连接 连接是用户基于连接器创建的用于连接某个具体数据源的对象。 创建连接时需要指定连接的名称、连接器类型，以及数据源的地址、鉴权信息，例如连接到MySQL数据库需要主机地址、端口号、用户名、密码等配置信息。
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时，此参数是必选项。请注意，此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限，否则会无法访问OBS并报“403
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时，此参数是必选项。请注意，此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限，否则会无法访问OBS并报“403
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起来并
支持按HBase的Region分片。 Apache Hive HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 CloudTable
示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。
CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型：JSON对象、JSON数组。 JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false
concurrentSubJobs参数（并发子作业数，新集群已取消这个配置项）。 让客户在导出的json 文件中将删除以下配置项，重新导入作业到新集群，导入成功。 { "name":"throttlingConfig.concurrentSubJobs", "value":"10"
源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题： 公共数据结构
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型：JSON对象、JSON数组。 JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1 “云数据迁移服务”服务监控项 根据界面提示设置CDM集群的告警规则。 设置完成后，单击“确定”。当符合规则的告警产生时，系统会自动进行通知。 更多关于监控告警的信息，请参见云监控用户指南。 父主题： 管理并查看CDM监控指标
用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array of Job objects 作业列表，请参见jobs数据结构说明。 表4 Job 参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
