检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务器内部采集的数据。 单位：%。 0.001%~100% CDM集群实例 1分钟 维度 Key Value instance_id 云数据迁移服务实例 父主题： 管理并查看CDM监控指标
作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。 解决方案 查看Yarn任务，搜索Spark JDBC Server的Yarn任务，找到自己队列下Running Container大于1的任务，查看ApplicationMaster，单击SQL页签，
步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为（数据开发作业计划启动时间-偏移量），而不是（CDM作业实际启动时间-偏移量）。 table 导入开始前 导入数据前，选择是否清除目的表的数据：
60000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 hive.server2.idle.operation.timeout=360000：为避免Hive迁移作业长时间卡住
步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_2 列族 可选参数，导出数据所属的列族。
inputFormat 是 枚举 传输数据时所用的文件格式，目前支持以下文件格式： CSV_FILE：CSV格式，用于迁移文件到数据表的场景。 JSON_FILE：JSON格式，一般都是用于迁移文件到数据表的场景。 BINARY_FILE：二进制格式，不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。
d_execution_exception。 继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。
抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？ 是Oracle的约束限制导致，迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION，同时调整UNDO表空间大小即可。 父主题： 故障处理类
如何解决HANA集群只有部分节点和CDM集群网络互通？ 问题描述 HANA集群只有部分节点和CDM集群网络互通，怎么办？ 解决方案 如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置： 关闭HANA集群的Statement Rout
FTP测试连通性失败，报服务器内部错误怎么解决？ 问题描述 ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录，安全组21、20端口正常放通，但是在创建FTP的数据连接报服务器内部错误。 解决方案 查询后台日志，报错为连接超时，截图如下，可能是安全组限制
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行
是 写入前将相同的键删除 写入前将相同的键删除。 否：如果原来Redis已存在类型不同的同名key，则迁移作业会跳过该key。 是：Redis会先删除原有的同名key，再执行迁移。 否 键分隔符 用来分隔关系型数据库的表和列名。 _ 值分隔符 以STRING方式存储时，列之间的分隔符。
常见配置举例如下： connectTimeout=600000与socketTimeout=300000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 sslmode=require
传输数据时所用的文件格式，目前只支持二进制格式。 fromJobConfig.fromCompression 否 枚举 选择对应压缩格式的源文件进行迁移： NONE：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR
再导回CDM。 推荐使用方法1，下面以HBase导到DWS为例进行说明。 解决方法一：CDM的字段映射界面增加字段 获取源端HBase待迁移的表中所有的字段，列族与列之间用“:”分隔，例如： rowkey:rowkey g:DAY_COUNT g:CATEGORY_ID g:CATEGORY_NAME
TANDALONE进程里，防止冲突导致迁移失败。 STANDALONE IP与主机名映射 运行模式选择“EMBEDDED”、“STANDALONE”时，该参数有效。 如果HDFS配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。
取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON：以JSON格式解析源数据。 CDC（DRS）：以DRS格式解析源数据。
CDM未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的。 如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 通用类
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
