检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据销毁机制 用户删除CDM集群后，存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手机号、邮箱，并关闭消息通知功能后，数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密，所有华为云CDM的API调用都支持
是否必选 类型 说明 toJobConfig.table 是 String 写入数据的表名，例如：“TBL_EXAMPLE”。 toJobConfig.storageType 是 枚举 将数据写入到HBase表中的方法： PUTLIST：put list方式写入。 toJobConfig
记录下CDM集群所在的VPC和子网。 创建NAT网关，注意选择和CDM集群相同的VPC、子网。 创建完NAT网关后，回到NAT网关控制台列表，单击创建好的网关名称，然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成
net访问CDM实例的操作系统。 密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度加密算法保存在CDM数据库。 无中间存储：数据在迁移的过程中，CDM只处理数据映射和转换，而不会存储任何用户数据或片段。 父主题： 通用类
单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。
当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败怎么解决？ 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时，会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息。
当作业将数据导入到Doris时，目的端作业参数如表1所示。 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于
作业中源连接为DLI连接时，源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式
作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界
如果选择写入到HDFS，此参数即为HDFS目录。 如果选择写入到OBS，此参数表示相应的OBS桶下的目录，例如：“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设
x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera Hadoop） HBase集群中共有854张表约400TB，备
应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业，配置变量参数，作业配置无变量时，为空对象。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 submissions
性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。
策略。 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。
ubject-Token的值。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 datastores Array of CdmClusterDatastore objects 数据库列表。 表4 CdmClusterDatastore 参数 参数类型 描述
00:00:00”固定参数值，也可以配置为EL表达式，例如：计划运行日期的前一天：#{DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")}，更多EL表达式请参见EL表达式。 保存并提交作业版本，单击“测试运行”，执行数据开发作业。
通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array of Job objects 作业列表，请参见jobs数据结构说明。 表4 Job 参数 是否必选 参数类型 描述 job_type 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
