检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM有哪些安全防护？ CDM是一个完全托管的服务，提供了以下安全防护能力保护用户数据安全。 实例隔离：CDM服务的用户只能使用自己创建的实例，实例和实例之间是相互隔离的，不可相互访问。 系统加固：CDM实例的操作系统进行了特别的安全加固，攻击者无法从Internet访问CDM实例的操作系统。
源端参数 参数说明 取值样例 DWS MySQL PostgreSQL SQL Server Oracle SAP HANA 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。
宽限期：指客户的包周期资源到期未续订或按需资源欠费时，华为云提供给客户进行续费与充值的时间，宽限期内客户可正常访问及使用云服务。 保留期：指宽限期到期后客户的包周期资源仍未续订或按需资源仍未缴清欠款，将进入保留期。保留期内客户不能访问及使用云服务，但对客户存储在云服务中的数据仍予以保留。 华为云宽限期和保留期时长设定请参考宽限期保留期。
模式，只能使用STANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。
Resources: 已使用的内存与CPU核数 Max Resources：队列中最大可供使用的内存与CPU核数 Used Application Master Resources: 已使用的AM资源 Max Application Master Resources: 队列中最大可供使用的AM资源
CDM集群ID，获取方法请参见查询集群列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码：
有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只会替换找到的第一条记录）。如果不存在，则添加新记录。 替换：使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只会替换找到的第一条记录）。如果没有，则不会添加新记录。
DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号即可，包围符双引号“，单个双引号。 解决方案 在OBS作业源端参数配置中，配置开启使用包围符号，单个双引号“，开启使用包围符，选择“是”即可。 父主题： 故障处理类
时此参数有效，默认值为：“\tab”。 fromJobConfig.columnList 否 String 需要抽取的字段列表，字段名之间使用“&”分割，例如：“id&gid&name”。 fromJobConfig.formats 否 数据结构 时间格式，请参见fromJobConfig
"cdm:cluster:create" ] } ] } 示例2：拒绝用户删除CDM集群 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先原则。 如果您给用户授予CDM
支持云审计的关键操作 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
datasource.write.partitionpath.field配置的列在源端数据中是否存在空值。 可能数据倾斜导致executor使用内存超出限制，具体原因需要联系MRS定位。Yarn Application ID可以从日志中获取，日志搜索“Yarn Application
关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明： Elasticsearch搜索引擎7.x及以上版本不支持自定义类型，只能使用_doc类型。此处即使自定义也不会生效。 type 操作 操作类型。 INDEX：不指定主键，es内部生成id，使得每次写入都是不同id的新增数据文件。
如何查看审计日志 概述 云审计服务（Cloud Trace Service，CTS）可以记录CDM相关的操作事件，用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后，系统开始记录CDM的相关操作，云审计服务的管理控制台保存最近7天的操作记录。 前提条件
根据分析步骤一报错，考虑是选错了队列类型，需要选择SQL队列。用户应该是先写到OBS文件，然后通过外表映射导入到DLI表。数据基本已经完成，最终映射时候报错，因为这种场景需要使用DLI的SQL队列。 解决方案 联系用户核实，确实选择队列不是SQL队列。并且查询资源得知，账户名下队列没有SQL队列，让用户购买DLI-SQL队列进行迁移同步。
按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能，即使华为账号下的其他IAM用户无法查看到组内作业，按组批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 关闭该功能时，该集群中的迁移作业、连接信息可以用户共享，华为账号下的所有拥有相应权限的IAM用户可以查看、操作迁移作业和连接。
FLOAT（M，D） 不能使用无符号的浮点数字。可以定义显示长度（M）和小数位数（D）。这不是必需的，并且默认为10，2。其中2是小数的位数，10是数字（包括小数）的总数。小数精度可以到24个浮点。 52.36 FLOAT FLOAT4 DOUBLE（M，D） 不能使用无符号的双精度浮点
FLOAT（M，D） 不能使用无符号的浮点数字。可以定义显示长度（M）和小数位数（D）。这不是必需的，并且默认为10，2。其中2是小数的位数，10是数字（包括小数）的总数。小数精度可以到24个浮点。 52.36 FLOAT FLOAT4 DOUBLE（M，D） 不能使用无符号的双精度浮点
超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，此时应配置为单进程抽取数据。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。
cheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数，可以把非公共的列封装为一个列。 解决方案 使用MongoDB Reader插件读出数据时，combine()支持合并MongoDB document中的多个字段为一个JSON串（多个字
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
