检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ 问题描述 报错：hoodie table path not found。 报错：写入记录中存在空值，写入失败。 报错：killed by external signal。 报错：java.lang.IllegalArgumentException
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.database
上传CDM连接驱动 JDBC即Java DataBase Connectivity，java数据库连接；JDBC提供的API可以让JAVA通过API方式访问关系型数据库，执行SQL语句，获取数据。 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符
配置Hive目的端参数 作业中目的连接为Hive连接时，目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS
Redis连接 介绍 通过Redis连接，可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
DLI连接参数说明 连接数据湖探索（DLI）服务时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI
CDM作业配置管理 CDM作业管理界面的“配置管理”页签，主要操作如下： 最大抽取并发数 定时备份/恢复 作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。 CDM
MRS Hive，MRS Kafka，MRS Hudi数据源创建连接时IP长度校验不通过，如何处理？ MRS Hive，MRS Kafka，MRS Hudi数据源在创建连接时，单击“选择”选定MRS集群，Manager IP获取到IP如果长度校验不通过，如下图所示。 解决方法 单击服务列表
支持云审计的关键操作 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
MongoDB连接 介绍 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称
Doris连接参数说明 支持连接开源Doris和MRS Doris，连接Doris数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Doris连接参数 参数名 说明 取值样例 名称
MySQL整库迁移到RDS服务 操作场景 本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK
Elasticsearch连接参数说明 Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中禁止修改密码或者更换用户
数据仓库服务（DWS）连接参数说明 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
