检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
常 (或让客户提供作业日志,或客户界面导出全量日志)。 分析源端数据类型,发现源端数据类型中有脏数据,源端数据类型有问题。 在CDM作业中配置脏数据功能,作业重跑成功,OBS桶排查脏数据类型存在问题,格式不匹配。 父主题: 故障处理类
配额说明 CDM服务应用的基础设施如下: 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
API文档 概述 API概览 应用示例 API详情 02 购买 云数据迁移(Cloud Data Migration,以下简称CDM)根据您选择的实例规格、集群状态、使用时长计费,计费方式简单、易于预测。您既可以选择按照小时计费的方式,也可以选择更经济的预付费折扣套餐。 计费项 按需定价 折扣套餐
后台排查sqoop日志,考虑源端数据类型格式问题导致异常。 分析源端数据类型,发现数据类型中有脏数据,源端数据类型有问题。 客户CDM界面配置脏数据功能,作业重跑成功,OBS桶排查脏数据类型存在问题,格式不匹配。 父主题: 故障处理类
并发数”参数,超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度,您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标表类型不匹配导致
0 bytes/s CDM集群实例 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 CPU使用率 该指标用于统计测量对象的CPU使用率。 单位:%。 0%~100% CDM集群实例 内存使用率 该指标用于统计测量对象的内存使用率。
根据报错分析,考虑是客户侧字段类型转换存在问题,将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步,字段映射界面,查看对应关系。 根据上一步字段映射分析,其中"support_gpu_instancing"字段源端为TINYINT类型,源端值为"0"或"1",实际
创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 问题描述 创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题:
被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。 203 Non-Authoritative
CDM实例部署在用户VPC后,用户可以综合运用子网和安全组的配置,来完成CDM实例的隔离,提升CDM实例的安全性。 数据加密 用户数据源的访问信息(用户名和密码)存储在CDM实例的数据库中,并采用AES-256加密,CDM管理员无法访问。 数据删除 用户删除CDM实例时,存储在
数据仓库服务)数据源,使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂,针对不同数据源开发不同的任务,脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展,用户数据可能存在于各种环境中
"name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.bucketName 是 String OBS的桶名,例如“cdm”。 toJobConfig.outputDirectory
RDS-Mysql和开源Mysql对于date类型的范围不一致,可能导致date数据转换异常 问题描述 使用开源Mysql驱动连接RDS-Mysql,date范围小于1000-01-0的情况下,date数据转换异常。 图1 源端data的数据 图2 目的端data的数据 故障分析
不限制。 16 源端Hive包含array和map类型时,目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时,会对源数据进行处理,支持成功写入。 因map类型为无序的数据结构,迁移到目的端的数据类型可能跟源端顺序不一致。 Hive作为迁移的目的时,
(state=,code=0) 原因分析 使用HDFS客户端get文件可以正常获取,所以不是文件块丢失。 查看HDFS服务的所有DataNode实例是否都已启动,此时DataNode状态为停止会获取不到块,以及cdm和DataNode节点的网络是否正常。 注:9866端口是HDFS文件系统DataNode的数据传输接口。
HANA连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将O
如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。