检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为MongoDB连接或者DDS连接时,高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为{"ts":{$gte:ISODate("$
检查连接器配置,发现没有打开开关,参数含义是“是否支持OBS存储,如果Hive表数据存储在OBS,需要打开此开关”。 解决方案 修改连接配置,打开Hive连接中的OBS开关,重新输入密码。 父主题: 故障处理类
源端修改MySql参数,将该"mysql.bool.type.transform"参数设置为"false"。 其中第二种方式可以在CDM的Mysql连接器高级属性中添加: 连接管理-Mysql连接-高级属性-添加参数 mysql.bool.type.transform 值为false,再次输入密码保存即可。
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
toJobConfig.shouldClearTable 否 Boolean 导入前是否清空目标表的数据,如果设置为true,任务启动前会清除目标表中数据。 父主题: 目的端作业参数说明
据中心降低了70%,且使用门槛低,可实现已有数据的平滑迁移,使新业务上线周期相比之前缩短了50%。 场景任务 根据客户原始数据采集处理系统中已有的H公司的数据(例如:贸易详单数据和基础信息数据),基于CDM+OBS+DLI完成贸易统计分析。 图1 场景方案 DLI创建OBS外表,对OBS表数据存储格式有所要求:
M作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
M作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
into"或"local",使用REPLACE,与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert into",默认使用IGNORE,与唯一键值上的现有行重复的新行将被丢弃,任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输,此情况下,CDM界面显示写入记录与实际更新行数会不一致。
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
pg_pending_job 排队作业数 该指标用于统计该CDM实例中处于PENDING状态的作业数。 单位:Count/个。 >=0 CDM集群实例 1分钟 pending_threads 排队抽取并发数 该指标用于统计该CDM实例中处于Waiting状态的抽取并发线程数。 单位:Count/个。
400:已删除。 800:冻结。 actions Array of strings 节点操作状态列表: REBOOTING:重启中。 RESTORING:恢复中。 REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String
门的开发使用成本。 CDM以键值对的形式来描述标签。一个集群默认最大拥有10个标签。每个标签有且只有一对键值。键和值可以任意顺序出现在标签中。同一个集群标签的键不能重复,但是值可以重复,并且可以为空。 使用方式 CDM支持通过控制台方式创建集群标签,详情请参见创建集群标签。 父主题:
由于分布列的选取,对于DWS/FusionInsight LibrA的运行非常重要,在CDM数据迁移到DWS/FusionInsight LibrA过程中,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,
Migration Service,简称OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。简言之,入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。 OMS主要功能有以下两个:
输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的
GZ格式的文件。 fromJobConfig.compressedFileSuffix 否 String 需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 fromJobConfig.fileSeparator
输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的
400:已删除。 800:冻结。 actions Array of strings 节点操作状态列表: REBOOTING:重启中。 RESTORING:恢复中。 REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String
RS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移,本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达