检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 Elasticsearch的索引，类似关系数据库中的数据库名称。索引名称只能全部小写，不能有大写。 index 类型 Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题： 创建并管理CDM集群
Where子句支持配置为时间宏变量，当数据表中有时间日期字段或时间戳字段时，配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配
如何解决HANA集群只有部分节点和CDM集群网络互通？ 如何使用Java调用CDM的Rest API创建数据迁移作业？ 如何将云下内网或第三方云上的私网与CDM连通？ CDM是否支持参数或者变量？ CDM迁移作业的抽取并发数应该如何设置？ CDM是否支持动态数据实时迁移功能？ CDM是否支持集群关机功能？
B导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修
Where子句支持配置为时间宏变量，当数据表中有时间日期字段或时间戳字段时，配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配
据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 自定义连接属性。 useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。
创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？ 问题描述 创建Oracle数据连接，创建连接时测试连通性成功。 在连接管理界面中，测试Oracle数据连接失败。提示如下信息： “无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组
据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 自定义连接属性。 useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306
fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置： LATEST：最大偏移量，即最新的数据。 EARLIEST：最小偏移量，即最老的数据。 fromJobConfig.isPermanency 是 Boolean 是否永久运行。
写入表数据时，用户选择的操作： DO_NOTHING：不自动建表。 CREATE_WHEN_NOT_EXIST：当目的端的数据库没有“tableName”参数中指定的表时，CDM会自动创建该表。 DROP_AND_CREATE：先删除“tableName”参数中指定的表，然后再重新创建该表。
标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。
SV文件的前N行数据作为标题行，不写入目的端的表。 否 标题行数 “前N行为标题行”选择“是”时才有该参数。抽取数据时将被跳过的标题行数。 说明： 标题行数不为空，取值为1-99之间的整数。 1 解析首行为列名 “前N行为标题行”选择“是”时才有该参数。选择是否将标题的首行解析为
Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使
单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时，任务自动结束，已经导入的数据不回退。 schedulerConfig.isSchedulerJob 否 Boolean 是否开启定时任务，例如：“true”。 schedulerConfig.cycleType 否 String
Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使
String DIS的通道名。 fromJobConfig.disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量： LATEST：最大偏移量，即最新的数据。 FROM_LAST_STOP：从上次停止处继续拉取。 EARLIEST：最小偏移量，即最早的数据。 fromJobConfig
cdm.4xlarge 64核 128GB 128 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
到DWS的任务。 图4 创建Oracle到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
