检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 关系表行数据在Redis中的存储方式分为“string”和“hash”两种存储方式。 STRING：表示用字符串通过分隔符来表示一行数据的各列，可以有效节省存储空间。 HASH：表示一行数据通过“列名：列值”的方式存储在hash表中。 fromJobConfig.valueSeparator
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？ 问题描述 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析
据中心降低了70%，且使用门槛低，可实现已有数据的平滑迁移，使新业务上线周期相比之前缩短了50%。 场景任务 根据客户原始数据采集处理系统中已有的H公司的数据（例如：贸易详单数据和基础信息数据），基于CDM+OBS+DLI完成贸易统计分析。 图1 场景方案 DLI创建OBS外表，对OBS表数据存储格式有所要求：
迁移MySql到DWS，TINYINT类型迁移报错 问题描述 使用CDM从MySql迁移到DWS，运行作业报错“ERROR:value '-1'is out of range for 8 b-bit integer”。 故障分析 根据问题现象，目的端类型不支持值为“-1”插入，检查目的端字段映射，排查映射问题。
fromJobConfig.index 是 String 抽取数据的索引，类似关系数据库中的数据库名称。 fromJobConfig.type 是 String 抽取数据的类型，类似关系数据库中的表名。 fromJobConfig.columnList 否 String 需要抽取的
说明 toJobConfig.index 是 String 写入数据的索引，类似关系数据库中的数据库名称。 toJobConfig.type 是 String 写入数据的类型，类似关系数据库中的表名。 toJobConfig.shouldClearType 否 Boolean 导入前是否清除数据。
排队作业数 该指标用于统计该CDM实例中处于PENDING状态的作业数。 单位：Count/个。 说明： 2.10.0.300版本及以上版本支持该指标。 >=0 CDM集群实例 1分钟 pending_threads 排队抽取并发数 该指标用于统计该CDM实例中处于Waiting状态的抽取并发线程数。
能产生的消息通知不会计入收费项。 用户隔离：控制其他用户是否能够查看、操作该集群中的迁移作业和连接。 开启该功能时，该集群中的迁移作业、连接会被隔离，华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能，即
Migration Service，简称OMS）是一种线上数据迁移服务，帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务（Object Storage Service，OBS）中。简言之，入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。 OMS主要功能有以下两个：
管理 > 连接管理 > 驱动管理”，进入驱动管理页面。 在“驱动管理”页面，单击MySQL驱动“建议版本”列中的资料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式
管理 > 连接管理 > 驱动管理”，进入驱动管理页面。 在“驱动管理”页面，单击MySQL驱动“建议版本”列中的资料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式
集群后问题依然存在。 查看CDM迁移作业，源端数据库表名全部为小写，但是迁移的表中是包含有大写字母，将所要迁移的表名跟数据库中保持一致，目的端字段就可以映射出来了，问题解决。 解决方案 在作业设置中，源端配置中迁移的数据库表名应按照数据库中的名称填写或者通过搜索选择表名，问题解决。 父主题： 故障处理类
into"或"local"，使用REPLACE，与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert into"，默认使用IGNORE，与唯一键值上的现有行重复的新行将被丢弃，任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输，此情况下，CDM界面显示写入记录与实际更新行数会不一致。
数据迁移前后数据量不一致是什么问题？ 问题描述 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。 故障分析 根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。 解决方案
RS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达
PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） Elasticsearch仅支持非安全模式。 公测中 表格存储服务（CloudTable HBase） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） Elasticsearch仅支持非安全模式。 公测中 表格存储服务（CloudTable HBase） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息 单击“连接管理”，在“操作”列中，单击“连接”进行编辑。 图3 连接 打开高级属性，在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值，单击“保存”。 图4
CDM是否支持动态数据实时迁移功能？ CDM是否支持集群关机功能？ 如何使用表达式方式获取当前时间？ 在创建迁移作业时，where语句参数中的时间格式是怎样的？ CDM作业可以将源表中的字段注释迁移到目标端表吗？ 如何查询数据连接创建人？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
