检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。
DLI数据库迁移时支持的数据类型 源端为DLI数据库时，支持的数据类型如下： 表9 DLI数据库作为源端时支持的数据类型 类别 类型 简要释义 字符 CHAR 用于存储指定定长字符串。 VARCHAR 与CHAR相同。
获取当前目录下的所有类型列表 功能介绍 获取当前目录下所有类型列表（包括API和目录，均以目录的数据格式形式展示）。 调用方法 请参见如何调用API。
用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。
原因分析 这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺省，就会报：value too long for type character varying。
表6 value 参数 参数类型 描述 total Integer 总量。 records Array of AllTableVO objects 查询到的审批单对象（AllTableVO）数组。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。
Oracle与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为Oracle，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。
表1 SQLServer > Hudi支持的字段类型 类别 数据类型（SQLServer） 数据类型（Hudi） 说明 字符串 BINARY STRING - VARBINARY STRING - CHAR STRING - VARCHAR STRING - NCHAR STRING
字段类型映射关系 MySQL与MRS Hudi字段类型映射 MySQL与DWS字段类型映射 PostgreSQL与DWS字段类型映射 PostgreSQL与MRS Hudi字段类型映射 GaussDB集中式/分布式与DWS字段类型映射 SQLServer与DWS字段类型映射 SQLServer
表1 MySQL > Hudi支持的字段类型 类别 数据类型（MySQL） 数据类型（Hudi） 说明 字符串 CHAR(M) STRING - VARCHAR(M) STRING - 数值 BOOLEAN BOOLEAN - TINYINT INT TINYINT(1)默认会转成
表1 PostgreSQL > Hudi支持的字段类型 类别 数据类型（PostgreSQL） 数据类型（Hudi） 说明 字符串 CHAR(M) STRING 定长字符串，空格填充。 VARCHAR(M) STRING 有限制的变长字符串。
表1 MySQL > DWS支持的字段类型 类别 数据类型（MySQL） 数据类型（DWS） 说明 字符串 CHAR(M) CHAR(4M) - VARCHAR(M) VARCHAR(4M) - 数值 LEAN BOOL - TINYINT SMALLINT TINYINT(1)默认会转成
表1 PostgreSQL > DWS支持的字段类型 类别 数据类型（PostgreSQL） 数据类型（DWS） 说明 字符串 CHAR(M) CHAR(M) 固定长字符串，空格填充。 VARCHAR(M) VARCHAR(M) 有限制的变长字符串。
表1 SQLServer > DWS支持的字段类型 类别 数据类型（SQLServer） 数据类型（DWS） 说明 字符串 BINARY BYTEA - VARBINARY BYTEA - CHAR CHAR - VARCHAR VARCHAR - NCHAR VARCHAR -
表1 GaussDB > DWS支持的字段类型 类别 数据类型（GaussDB） 数据类型（DWS） 说明 字符串 CHAR(M) CHAR(M) 固定长字符串，空格填充。 VARCHAR(M) VARCHAR(M) 有限制的变长字符串。
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 问题描述 创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。
CUSTOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。
Spark版本 否 2.3.2 2.4.5 3.1.1 作业特性 否 用户作业使用的Spark镜像类型（当前支持基础型、AI增强型和自定义的Spark镜像）。 基础型 AI增强型 自定义镜像 当选择“自定义镜像”时，请选择自定义的镜像名称，版本号系统自动展示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
