检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型
OBS连接的参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息：
据传输的安全性。支持SSL的数据源，如RDS、SFTP等，可以使用SSL。CDM还支持公网数据源的数据上云，用户可以利用VPN和SSL技术来避免传输安全风险。 用户和网络隔离 CDM实例运行在用户独立的VPC内，VPC允许用户通过配置VPC入站IP范围，来控制连接CDM的IP地址
CDM支持的监控指标 功能说明 云监控服务（Cloud Eye）可以监控和查看云服务的运行状态、各个指标的使用情况，并对监控项创建告警规则。 当您创建了CDM集群后，云监控服务会自动关联CDM的监控指标，帮助您实时掌握CDM集群的各项性能指标，精确掌握CDM集群的运行情况。 本章
支持云审计的关键操作 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，CDM对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除CDM集群后，存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。
如何查看套餐包的剩余时长？ 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题： 通用类
、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build
、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build
查询所有集群的企业项目ID 功能介绍 查询当前项目下的所有集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询集群的企业项目ID 功能介绍 查询指定集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述
Migration，简称CDM）是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数
些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
查看Yarn任务，搜索Spark JDBC Server的Yarn任务，找到自己队列下Running Container大于1的任务，查看ApplicationMaster，单击SQL页签，可以看到正在执行的SQL，单击Stages页签，可以看到每条SQL的执行进度。 CDM在作业BOOTING阶
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案： get_table_req。 解决方案 用户的MRS集群是1.8.1，CDM为2.6.0。 报错看CDM封装的Hive SDK无法识别Hive数据源，
sql，则多半是队列资源限制，打开yarn，搜索租户的队列，查看Spark2x-JDBCServer2x的yarn任务，此时可能会搜索不到yarn任务，或者State为ACCEPTED，这两种情况都是资源不足起不了yarn任务的现象。打开yarn的schedule，查看队列资源，关注以下几个参数：
作业从旧集群导出，再导入到新的集群失败怎么解决？ 问题描述 旧CDM集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.con
CDM作业可以将源表中的字段注释迁移到目标端表吗？ 问题描述 CDM作业可以将源表中的字段注释迁移到目标端表吗？ 解决方案 不同版本支持的情况不一样。 具体如下： 2.8.6.1版本支持，2.9.1版本不支持，2.9.2.1版本支持。 父主题： 功能类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
