检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主键替代_id，则只能建议用性能更好的ES集群。
HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移
HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移
问题描述 CDM是否支持参数或者变量？ 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 功能类
配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string 后作业跑成功，因为客户源端boolean类型的字段有空值，从而导致迁移失败。 2.8.6版本CDM集
到文件的原样复制。 当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符，默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或
在使用CDM时，可能遇到如下权限相关的问题： 跳转到CDM首页，获取到的集群列表为空。 提示没有权限访问，如图1所示。 执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案
段源端为TINYINT类型，源端值为"0"或"1"，实际是"false"或"true"。迁移到目的端INT类型的字段中会报错，提示类型转换错误，因为Mysql会自动识别将"0"或"1"转换为"false"或"true"。 解决方案 可通过以下两种方式解决问题： 修改目的端建表语句，INT类型为BOOL类型；
4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考
由于MySQL和DWS存储中文时编码不一样，所需的长度也不一样，一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为“是”后，在DWS中自动创表时，会将字符类型的字段长度设置为原表的3倍，避免出现DWS表的字符字段长度不够的报错。 其他可选参数保持默认即可，详细说明可参见配置DWS目的端参数。
4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考
请确保您已具备该参数所指定的OBS路径的读、写权限，否则系统将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点，并关联已创建的CDM作业，如图4所示。 图4 关联CDM作业 在作业参数中配置业务需要的参数，如图5所示。 图5 配置作业参数 作业调度执行的过程中，会将该参数
Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP：单击集群操作列中的“绑定弹性IP”，进入EIP选择界面。
与加密时配置的“toJobConfig.dek”（导入时配置的数据加密密钥）一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 fromJobConfig.iv 否 String 解密需要的初始化向量，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“toJobConfig
CDM是否支持同步作业到其他集群？ 解决方案 CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add
在连接管理界面找到需要修改的连接： 删除连接：单击操作列的“删除”删除该连接，或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。 编辑连接：单击该连接名称，或者单击操作列的“编辑”进入修改连接的界面，修改连接时需要重新输入数据源的登录密码。 测试连通性：单击操作列的“测试连通性”，直接测试已保存连接的连通性。
选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 否 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\
Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下：
MongoDB/DDS增量迁移 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替
rts Studio的权限体系进行权限管理；在CDM控制台购买的CDM集群，按照云数据迁移CDM服务的权限体系进行权限管理。 使用场景：在DataArts Studio控制台购买的CDM集群按工作空间隔离，需要在关联的工作空间使用；在CDM控制台购买的CDM集群，不支持DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
