检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse连接时,目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为nullable(),否则写入到MRS ClickHouse的值会为0。 请确认目的端表引擎是否为
查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不
如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。 新增字段 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数
更换用户,密码不会立即生效且作业会运行失败。 表1 Doris连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 Doris_link 数据库服务器 一个或多个通过分号分隔的服务器列表(服务器域名或IP地址)。 说明: 开源Doris由用户直接填写。
解决方案 将目标端boolean类型字段修改成string 后作业跑成功,因为客户源端boolean类型的字段有空值,从而导致迁移失败。 2.8.6版本CDM集群校验更严格,在处理boolean类型数据的逻辑是:目标端的数据类型是boolean类型,会在插入的时候会去检查,不是true/false就会报错。
写。 说明: Elasticsearch搜索引擎7.x及以上版本不支持自定义类型,只能使用_doc类型。此处即使自定义也不会生效。 _doc 高级属性 拆分nested类型字段 可选参数,选择是否将nested字段的json内容拆分,例如:将“a:{ b:{ c:1, d:{ e:2
持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 说明: Elasticsearch搜索引擎7.x及以上版本不支持自定义类型,只能使用_doc类型。此处即使自定义也不会生效。
在创建迁移作业时,where语句参数中的时间格式是怎样的? 问题描述 在创建迁移作业时,where语句参数中的时间格式是怎样的? 解决方案 请参考Mysql日期、时间字段类型语法特性:https://dev.mysql.com/doc/refman/8.0/en/datetime.html。 父主题: 功能类
密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 kafka_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择
M集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型,如图2所示。 这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。
单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。 Elasticsearch服务器列表:配置为云搜索服务集群(支持5
单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。 Elasticsearch服务器列表:配置为云搜索服务集群(支持5
源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。
仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive
源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。
单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。 Elasticsearch服务器列表:配置为云搜索服务集群(支持5
单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“数据湖探索(DLI)”后单击“下一步”,配置DLI连接参数,如图2所示。 名称:用户自定义连接名称,例如“dlilink”。 访问标识(AK)、密钥(SK):访问DLI数据库的AK、SK。
仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive