检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
smallint类型的数据占用了两个字节的存储空间,其中一个二进制位表示整数值的正负号,其它15个二进制位表示长度和大小,可以表示-2的15次方~2的15次方-1范围内的所有整数。 SMALLINT SMALLINT NUMBER tinyint tinyint类型的数据占用了一个字节的存储空
作业从旧集群导出,再导入到新的集群失败怎么解决? 问题描述 旧CDM集群是2.6.0版本,新集群是2.8.6.1版本,导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的,通过查看老集群导出的作业json文件,包含throttlingConfig.con
合通配符条件的索引。例如这里配置为cdm*时,CDM将迁移所有名称为cdm开头的索引:cdm01、cdmB3、cdm_45…… 目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。 索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手
Kafka - 上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务
的数据源类型。 本文介绍2.9.3.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多
合通配符条件的索引。例如这里配置为cdm*时,CDM将迁移所有名称为cdm开头的索引:cdm01、cdmB3、cdm_45…… 目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。 索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手
字段分隔符 用于分隔CSV文件中的列的字符,支持单字符和多字符,也支持特殊字符,详见表1。 编码类型 文件的编码类型,默认是UTF-8,中文的编码有时会采用GBK。 如果源端指定该参数,则使用指定的编码类型去解析文件;目的端指定该参数,则写入文件的时候,以指定的编码类型写入。 使用包围符
据”,CDM的事务模式不会回滚已经删除的数据。 否 扩大字符字段长度 选择自动创表时,迁移过程中可将字符类型的字段长度扩大为原来的3倍,再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样,但目的表字符类型字段与源表一样,在迁移数据时,可能会有出现长度不足的错误。 说明:
索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。 表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。 表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群
在创建迁移作业时,where语句参数中的时间格式是怎样的? 问题描述 在创建迁移作业时,where语句参数中的时间格式是怎样的? 解决方案 请参考Mysql日期、时间字段类型语法特性:https://dev.mysql.com/doc/refman/8.0/en/datetime
到DWS的任务。 图4 创建Oracle到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。 表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
连接器 连接器是CDM内置的连接某种数据源所需的对象模板,目前CDM支持连接OBS、MRS、数据库等多种连接器,并可扩展增加新的连接器。 连接 连接是用户基于连接器创建的用于连接某个具体数据源的对象。 创建连接时需要指定连接的名称、连接器类型,以及数据源的地址、鉴权信息,例如连接到
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403
这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳过重复文件”,相同名称且相同大小的文件不迁移,所以只会上传每天新增的文件。 单击“保存”,完成CDM的增量同步配置。 父主题: 使用CDM上传数据到OBS
本章节介绍云数据迁移(Cloud Data Migration,以下简称CDM)的基础使用方法,通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作,帮助您了解、熟悉CDM服务,具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下: 创建CDM集群 创建连接 创建并执行作业
批量数据迁移服务,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 您可以使用本文档提供的API对云数据迁移服务进行操作,如创建集群、创建迁移任务等,支持的全部操作请参见API概览。 在调用云数据迁移服务API之