检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? 问题描述 MySQL到DWS链路 ,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段,如果该字段在MySQL中出现null值那么,写入到DWS中将会报错,报错信息如下:
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL,目的端为DWS时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 PostgreSQL
当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。
当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL,目的端为Hudi时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型
当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。
面的“编辑”,进入字段映射界面,如图1所示。 图1 字段映射03 单击添加字段,在弹出框中选择“添加新字段”,如图2所示。 图2 添加字段04 添加完字段后,新增的字段在界面不显示样值,这个不影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加新字段”的功能,要求源端数
序号。 name_en String 字段名,英文。 name_ch String 字段名,中文。 description String 描述。 data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING:
MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? 问题描述 1. 运行migration mysql2dws链路的实时同步作业,DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如:alter
查看码表字段值 功能介绍 查看码表字段值。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/code-tables/{id}/values 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
date类型值是否保留一位精度 date类型值是否保留一位精度。 是 分区字段含有空值 是否允许分区字段包含空值。 是 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。 说明: 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。
CT权限。 否 抽取分片字段 “按表分区抽取”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分片字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分片字段名。
当使用二进制格式进行文件到文件的迁移时,没有配置字段转换器这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。
当使用二进制格式进行文件到文件的迁移时,没有配置字段转换器这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图7 表到文件的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 创建表达式转换器时,表达式的功能是对该字段的数据进行处理,故不建议使用时间宏。
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out。 原因分析 这种情况是由于表数据量较大,并且源端通过where语