检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图3 任务配置 单击“保存并运行”，CDM立即开始执行作业。
API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据： 云账号的用户名、账号名和项目ID。 创建一个CDM集群，并获取集群ID。
CDM支持从MapReduce服务（MapReduce Service，简称MRS）导入、导出数据。 对象存储服务 CDM支持从对象存储服务（Object Storage Service，简称OBS）导入、导出数据，同时CDM还利用OBS存储集群数据备份文件和日志。 云监控 CDM服务使用云监控（Cloud
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
通用类 CDM与其他数据迁移服务有什么区别，如何选择？ CDM有哪些优势？ CDM有哪些安全防护？ 如何降低CDM使用成本？ CDM未使用数据传输功能时，是否会计费？ 已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？ 如何查看套餐包的剩余时长？ 套餐包到期未续订或按需资源欠费时，我的数据会保留吗？
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
支持按HBase的Region分片。 Apache Hive HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库
CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。
移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源（HTTP/FTP/SFTP/HDFS/OBS）时配置。 只有文件名和文件大小都相同才会判定为重复文
连接Oracle数据库时，具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时，具体参数请参见分库连接参数说明。 对象存储服务（OBS） 连接OBS时，具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache
rator权限，才能在CDM创建连接。 cdm 密码 访问MRS Manager的用户密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。
持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图6 任务配置 单击“保存并运行”，回到作业管理界面
持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图6 任务配置 单击“保存并运行”，回到作业管理界面
SDK概述 云数据迁移服务软件开发工具包（CDM SDK，Cloud Data Migration Service Software Development Kit）是对CDM服务提供的REST API进行的封装，以简化开发者的开发工作。通过调用此SDK包提供的代码样例，即可通过API接口对CDM进行相关操作。
CDM适用于以下场景： 数据上云：使用华为公有云服务时，用户可以将其历史数据或增量数据从私有云/本地数据中心/第三方公有云迁移到华为云。 云服务间数据交换：用户可以在华为云的大数据服务、数据库服务、对象存储服务之间相互迁移数据。例如，可以将由MapReduce服务（MapReduce Servi
审计与日志 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操
日志提示解析日期格式失败时怎么处理？ 问题描述 在使用CDM迁移其他数据源到云搜索服务（Cloud Search Service）的时候，作业执行失败，日志提示“Unparseable date”，如图1所示。 图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理：如果存储的时间数据不带时区信
私有云（Virtual Private Cloud，简称VPC）负责其计费。 如果CDM需要访问本地数据源、Internet的数据源，或者跨VPC的云服务，则必须要为CDM集群绑定一个弹性IP，或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet，具体操作请见添加SNAT规则。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
字段名称不能与源端的字段有重复（包括自定义字段）。 cdc_last_update_date Hudi建表配置 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表：数据先写入avro格式的日志文件，读取时合并到parquet文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
