检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。
我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公
本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。 图1 大数据迁移上云 数据批量入湖 这个场景支持用户本地数据全量和T+1增量入湖。
继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主
快速创建一个kubernetes集群 计费FAQ 计费说明 创建容器应用基本流程 快速创建一个kubernetes集群 04 使用 CDM服务基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 迁移场景介绍 表/文件迁移 整库迁移
application/json X-Language = en-us 其他参数保持默认即可。 图5 删除CDM作业节点配置 如果需要在迁移完后进行计算操作，可在后续添加各种计算节点，完成数据计算。 配置DLF作业参数。 配置DLF作业参数，如图6所示。 startTime = $getTaskPlanTime(plantime
您参考离线集成作业概述。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 CDM服务基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 CDM定位 产品功能 表/文件/整库迁移
日志信息 原因分析 这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度，一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时，就会出现错误：value too
常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制，可以在区域默
高效率 在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。
避免频繁调用。 使用Token前请确保Token离过期有足够的时间，防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
validateMD5 否 Boolean 选择是否校验MD5值，不能与KMS加密同时使用。使用二进制格式传输文件时，才能校验MD5值。 计算源文件的MD5值，并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件，则直接读取源端的MD5文件与OBS返回的MD5值进行校验。
文件过大，单位为MB。 1024 校验MD5值 使用“二进制格式”传输文件时，才能校验MD5值。选择校验MD5值时，无法使用KMS加密。 计算源文件的MD5值，并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件，则直接读取源端的MD5文件与OBS返回的MD5值进行校验，具体请参见MD5校验文件一致性。
null) 如果当前字段为字符串类型，获取字符串指定位置后（索引从0开始，包括指定位置的字符）的子字符串，指定位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”索引为2的字符（即c）及之后的字符串，则转换后为“cde”。 表达式：StringUtils
DWS中自动创建该表。 是否压缩：DWS提供的压缩数据能力，如果选择“是”，将进行高级别压缩，CDM提供了适用I/O读写量大，CPU富足（计算相对小）的压缩场景。更多压缩级别详细说明请参见压缩级别。 存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如
DWS中自动创建该表。 是否压缩：DWS提供的压缩数据能力，如果选择“是”，将进行高级别压缩，CDM提供了适用I/O读写量大，CPU富足（计算相对小）的压缩场景。更多压缩级别详细说明请参见压缩级别。 存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如
仓库服务（Data Warehouse Service，简称DWS），进行交互式分析和报告统计收集。 云上数据回迁到本地：用户在使用公有云计算资源对海量数据进行处理后，将结果数据回流到本地业务系统，主要是各种关系型数据库和文件系统。 CDM迁移原理 用户使用CDM服务时，CDM管
null) 如果当前字段为字符串类型，获取字符串指定位置后（索引从0开始，包括指定位置的字符）的子字符串，指定位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”索引为2的字符（即c）及之后的字符串，则转换后为“cde”。 表达式：StringUtils
null) 如果当前字段为字符串类型，获取字符串指定位置后（索引从0开始，包括指定位置的字符）的子字符串，指定位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”索引为2的字符（即c）及之后的字符串，则转换后为“cde”。 表达式：StringUtils
null) 如果当前字段为字符串类型，获取字符串指定位置后（索引从0开始，包括指定位置的字符）的子字符串，指定位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”索引为2的字符（即c）及之后的字符串，则转换后为“cde”。 表达式：StringUtils
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
