检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM服务只读权限，拥有该权限的用户仅能查看CDM集群、连接、作业。 系统策略 表2列出了CDM常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 CDM FullAccess CDM FullAccessExceptEIPUpdating
OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hado
什么是云数据迁移 产品优势 迁移原理 支持的数据源 已发布区域：全部 集群管理 使用云数据迁移服务的首要操作就是购买集群，您可以根据需求购买不同规格集群，满足您快速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP 下载集群日志 查看集群基本信息
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象
"cdm:cluster:get", "ecs:*:get*", "ecs:*:list*", "vpc:*:get*"
启用SSL认证后，Kafka会将Kafka Broker连接地址视做域名不断进行解析，导致性能消耗。建议修改CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka
移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。 缺点：迁移方式耗时较长。 父主题： 车联网大数据零丢失搬迁入湖
当选择IAM统一身份认证时，需要输入用户名、AK和SK。 linkConfig.runMode 是 枚举 选择HBase连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hado
地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。 香港、曼谷等其他地区和国
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
文件时，才能校验MD5值。 计算源文件的MD5值，并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件，则直接读取源端的MD5文件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时，这里配置是否记录校验结果。
于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。
SOFTLY：一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断，并重启集群的虚拟机。 restartLevel 否 String 重启级别： SERVICE：重启服务。 VM：重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型，只支持“cdm”。
配置项定义将何种字符串标识为null。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 父主题： 配置CDM作业源端参数
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务，从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户
String 服务ID，用于区分不同服务。 name String 服务名称。 bigclusterEnable Boolean 是否支持大规格集群。 defaultVersion String 默认版本。 versions Array of CdmClusterVersion objects
在DLF创建如图2所示的Rest Client节点数据开发作业，详细操作请参见《数据治理中心DataArts Studio 用户指南》的新建作业章节。 各节点与作业的配置详情请参见后续步骤。 图2 DLF作业 配置“创建作业”节点。 DLF通过Rest Client节点调用REST接口创建CDM迁移作业。配置Rest
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
