检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？ 问题描述 打开日志，最后一行日志如下所示，则说明此时集群并发资源消耗殆尽，或者集群内存使用达到阈值，新提交的作业需要排队等待。 submit task attempt_local1847334969_1748_m_000003_0
配置DWS目的端参数 作业中目的连接为DWS连接时，目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为
格。 , Rowkey冗余 可选参数，是否将选做Rowkey的数据同时写入HBase的列，默认值“否”。 否 压缩算法 可选参数，创建新HBase表时采用的压缩算法，默认为值“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。 NONE
PostgreSQL/SQLServer连接参数说明 连接PostgreSQL/SQLServer时，相关参数如表1所示，金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码
计算源文件的MD5值，并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件，则直接读取源端的MD5文件与OBS返回的MD5值进行校验，具体请参见MD5校验文件一致性。 是 记录校验结果 当选择校验MD5值时，可以选择是否记录校验结果。 是 校验结果写入连接 可以指定任意一个OBS连接，将MD5校验结果写入该连接的桶下。
否 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 父主题： 配置CDM作业源端参数
否 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致，详细请参见MD5校验文件一致性。 .md5 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半
用来分隔关系型数据库的表和列名。 _ 值分隔符 以STRING方式存储时，列之间的分隔符。 ; 字段相同 “值存储类型”参数值为“HASH”显示该参数。 哈希键内有相同的字段。 是 父主题： 配置CDM作业源端参数
为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只
创建CDM集群 操作场景 目前CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可相互访问。目前一个集群只支持一个服务器。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时，需确保CDM集群与待连接的云服务在同一个VPC。如果CDM
导入数据到HDFS时，支持设置压缩格式。 参见配置HDFS目的端参数。 MRS HBase CloudTable 支持导入数据到HBase，创建新HBase表时支持设置压缩算法。 参见配置HBase/CloudTable目的端参数。 MRS Hive 支持快速导入数据到MRS的Hive。 参见配置Hive目的端参数。
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时，目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明
故障处理类 日志提示解析日期格式失败时怎么处理？ 字段映射界面无法显示所有列怎么处理？ CDM迁移数据到DWS时如何选取分布列？ 迁移到DWS时出现value too long for type character varying怎么处理？ OBS导入数据到SQL Server时出现Unable
CDM迁移近一个月的数据 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
目的端为关系数据库 JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？ 问题描述 迁移SQL Server数据到DWS，目的端配置了当表不存在时自动创建，目的端字段映射不出来 ，如下图所示。 原因分析 查看后端日志报：org.postgresql.util.PSQLException: ERROR:
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面：
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
