检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL
delete from alter table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name
图1 选择连接器类型 单击“下一步”,配置连接参数,依次填写相关信息。URI格式为“hdfs://NameNode IP:端口”,若CDH没有启动Kerberos认证则“认证类型”选择“SIMPLE”。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。 创建MRS
用户选择的操作: DO_NOTHING:不自动建表。 CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。 DROP_AND_CREATE:先删除“tableName”参数中指定的表,然后再重新创建该表。 toJobConfig
在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式,但是没有生效。 解决方案 客户侧的null是null字符串,而非null空值,所以null字符串无法转化,null空值的查询条件是 is null。
云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企业项目也会影响CDM集群与其他云服务的网络互通,只有企业项目一致的云服务才能打通网络。 前提条件 已创建RDS for MySQL实例,且所在的区域、
入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 schema Where子句 该参数适用于整库迁移中的所有子表,配置子表抽取范围的Where子句,不配置时抽取整表。如果待迁移的表中没有Where子句的字段,则迁移失败。
MRS中恢复HBase表 CDH HBase表目录已经迁移到MRS HBase后,可以使用命令恢复。对于那些会变化的数据,需要使用快照保证数据不变,然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。
400 作业状态未知。 作业状态未知。 请稍后重试,或请联系客服或技术支持人员协助解决。 Cdm.0204 400 没有已创建的MRS连接。 没有已创建的MRS连接。 当前没有MRS连接,您需要先前往集群的“连接管理”页面创建一个MRS连接,然后再重新执行当前的操作。 Cdm.0230
连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
创建作业的任务配置中,如果已经将作业分配到了不同的分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能,即使华为账号下的其他IAM用户无法查看到组内作业,按组批量启动作业依然会将组内作业运行,因此在用户
端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json key。CDM支持co
云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企业项目也会影响CDM集群与其他云服务的网络互通,只有企业项目一致的云服务才能打通网络。 操作步骤 进入购买云数据迁移服务界面。 配置CDM集群参数,各参数说明如表1所示。
费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见IAM产品介绍。 CDM权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。
只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题:
过小时,会影响迁移速率。 取值范围是1-128,默认为空,不做限制,单位为MB,超出范围会设置为不限制。 16 内部转换队列内存最大值 当出现内存不足场景时,请酌情修改该参数,当参数过小时,会影响迁移速率。 取值范围是1-128,默认为空,不做限制,单位为MB,超出范围会设置为不限制。
请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。
间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password here”替换。 在本地编辑JSON文件,将“Add password here”替换为对应连接的正确密码。
查询过程中,其他用户频繁进行commit操作。 Oracel的RBS(rollbackspace 回滚时使用的表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题: 故障处理类