检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺省，就会报：value too long for type character varying。类似的问题还有string转bigint，bigint转int。 解决方案
CDM作业可以将源表中的字段注释迁移到目标端表吗？ 问题描述 CDM作业可以将源表中的字段注释迁移到目标端表吗？ 解决方案 不同版本支持的情况不一样。 具体如下： 2.8.6.1版本支持，2.9.1版本不支持，2.9.2.1版本支持。 父主题： 功能类
作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？ 问题描述 迁移SQL Server数据到DWS，目的端配置了当表不存在时自动创建，目的端字段映射不出来 ，如下图所示。 原因分析 查看后端日志报：org.postgresql.util.PSQLException: ERROR:
型。 MySQL数据库迁移时支持的数据类型 源端为MySQL数据库，目的端为Hive、DWS时，支持的数据类型如下： 表2 开源MySQL数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS 字符串 CHAR（M） 固定长度的字符串是以长度为1到2
型。 MySQL数据库迁移时支持的数据类型 源端为MySQL数据库，目的端为Hive、DWS时，支持的数据类型如下： 表2 开源MySQL数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS 字符串 CHAR（M） 固定长度的字符串是以长度为1到2
问题描述 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。 故障分析 查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误，是用户使用Mysql账号没有给
Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？ 问题描述 读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。
Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？ 问题描述 导入了4000W数据，快执行完时报如下错误。 故障分析 结合报错，考虑是DLI目的端写入问题。但因日志截图不全，进入CDM集群，查看客户作业日志。
添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。
操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select
“按表分区抽取”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明： 抽取分区字段支持TINYINT、SMA
如何使用表达式方式获取当前时间？ 问题描述 如何使用表达式方式获取当前时间？ 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题：
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
filesystem怎么解决？ Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？ 作业配置添加字段，MongoDB字段映射存在问题 DLI外表(OBS文件)迁移DWS某字段转义，带有“\” 执行Postgresql-to-Hive迁移作业报错“Error
默认情况：取主键字段，如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。 由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是IsDef的类型是bit，不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可，参数："throttlingConfig
String 字段分隔符，当文件格式为“CSV_FILE”时此参数有效，默认值为：“,”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符，选择“true”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 fromJobConfig
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址，且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户，该
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String 每次poll之间的最大时间间隔。 fromJobConfig.separator 否 String 字段分隔符。 父主题：
关系数据库连接 介绍 通过JDBC连接，可以对以下关系型数据库抽取、加载数据： 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
