检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？ 问题描述 客户通过CDM从OBS迁移到DLI ，使用两个集群分别迁移，源端和目标端以及作业配置都一样，2.6.0版本的CDM集群作业可以迁移成功，2.8.6版本的集群迁移失败。报错作业日志如下图所示。 原因分析
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在 问题描述 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置，问题解决。
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤： 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据，支撑H公司客户进行贸易统计分析。
concurrentSubJobs] 不存在怎么办”？ 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析
在您使用CDM的过程中，可能还会产生以下相关服务的费用，敬请知悉： OBS服务：数据迁移时，CDM可能会将脏数据写入到OBS服务中，则会产生对象存储服务费用，收费标准请参见OBS价格详情。 EIP服务：如果您为CDM集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。
帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务（Object Storage Service，OBS）中。简言之，入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。 OMS主要功能有以下两个： 线上数据迁移服务：帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移上云。
故障恢复 CDM集群支持定时备份功能。 定时备份开启后可以将作业定时备份到OBS上，当服务故障后，可以通过作业导入功能恢复作业。 父主题： 安全
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 通用类
MongoDB连接迁移失败时如何处理？ 问题描述 MongoDB连接迁移失败时如何处理？ 解决方案 在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。
通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作，与CDM迁移近一个月的数据相同，都是
写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件，是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。
写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件，是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5值”控制，读取文件后写入OBS时，通过HTTP Header将MD5值提供给OBS做写入校验，并将校验结果写入OBS桶（该桶可以不是存储迁移文件的桶）。如果源端没有MD5文件则不校验。
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性
"obs:object:PutAccessLabel", "obs:bucket:ListBucket", "obs:bucket:GetBucketCORS", "obs:buc
"obs:object:PutAccessLabel", "obs:bucket:ListBucket", "obs:bucket:GetBucketCORS", "obs:buc
MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业 如果C
toconfigvaluesJobs = new ConfigValues(); toconfigvaluesJobs.withConfigs(listToConfigValuesConfigs); List<Job> listbodyJobs = new ArrayList<>();
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
