检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：不允许某用户组删除集群，仅允许CDM基本操作（如创建、查询作业等）。CDM支持的授权项请参见权限策略及授权项。 如表1所示，包括了CDM的所有系统权限。 表1 CDM系统权限 系统角色/策略名称 描述
性。 查看连接JSON：选择操作列的“更多 > 查看连接JSON”，以JSON文件格式查看连接参数的配置。 编辑连接JSON：选择操作列的“更多 > 编辑连接JSON”，以直接修改JSON文件的方式，修改连接参数。 查看后端连接：选择操作列的“更多 > 查看后端连接”，查看该连接对应的后端连接。
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在 问题描述 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置，问题解决。
问题描述 CDM作业配置源端MongoDB添加字段，目的端MongoDB数据库字段映射，作业运行后，目的端数据库查看，数据存在问题，没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段，因为MongoDB是文档数据库，没有scheme概念。CDM字段映射取的是第一条的json
根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。 根据上一步字段映射分析，其中"support_gpu_instancing"字段源端为TINYINT类型，源端值为"0"或"1
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 或参考访问DataArts Studio实例控制台，登录DataArts
OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
如下图所示。 原因分析 查看后端日志报：org.postgresql.util.PSQLException: ERROR: relation "表名" does not exist。 怀疑是CDM 集群开启沙箱所导致的，后端对集群取消沙箱，重启CDM 集群后问题依然存在。 查看CDM迁移作业
联系SRE查看cdm后台日志：/var/log/cdm/local/framework.log，搜索关键字：cluster running task，如果运行的并发数与available的并发数一致，则说明此时并发数已到达集群上限。 集群内存使用达到阈值 联系SRE查看cdm后台
配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数
Hive目标表mail的数据集成作业，具体如下图所示。 图2 新建作业 图3 配置基本信息 样例作业创建完毕后，如下图查看作业JSON，并复制作业JSON，用于后续数据开发作业配置。 图4 查看作业JSON 图5 复制作业参数 创建数据开发作业 单击工作空间的“数据开发”，进入DataArts Studio数据开发模块。
在CDM“作业管理”界面的“表/文件迁移”页签下，找到已创建的作业，单击作业操作列的“更多 > 查看作业JSON”，如图1所示。 您也可以使用其它已创建好的CDM作业JSON。 图1 查看作业JSON 作业JSON就是创建CDM作业的请求消息体模板，URL地址中[Endpoint]
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
旧CDM集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.concurrentSubJobs参数（并发子作业数，新集群已取消这个配置项）。
率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息 关于CDM支持的监控指标，以及如何创建监控告警规则等内容，请参见查看监控指标。 父主题： 安全
project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID，获取方法请参见查询集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体的类型
OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
