检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看
insert into xx select * from xxx DISTRIBUTE BY rand(); 使用DataArts Studio API方式提交Spark SQL，调大executor内存。 排查是否有其他连接在同时写hudi表，如果有，将连接停止，然后CDM作业失败重试。
服务韧性 CDM通过流量限制、备份恢复等技术方案，保障数据的持久性和可靠性。 关于CDM备份，用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 父主题： 安全
使用HDFS客户端get文件可以正常获取，所以不是文件块丢失。 查看HDFS服务的所有DataNode实例是否都已启动，此时DataNode状态为停止会获取不到块，以及cdm和DataNode节点的网络是否正常。 注：9866端口是HDFS文件系统DataNode的数据传输接口。 解决方案 因为DataNode节点防
片。 NoSQL 分布式缓存服务（DCS） 不支持分片。 Redis 不支持分片。 文档数据库服务（DDS） 不支持分片。 MongoDB 不支持分片。 Cassandra 支持按Cassandra的token range分片。 消息系统 数据接入服务（DIS） 支持按topic分片。
对象存储 对象存储服务（OBS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 对象存储服务之间的迁移，推荐使用对象存储迁移服务OMS。
对象存储 对象存储服务（OBS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive 搜索：Elasticsearch 公测中：云搜索服务（CSS），表格存储服务（CloudTable） 对象存储服务之间的迁移，推荐使用对象存储迁移服务OMS。
已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。 已经在DLI服务中创建好资源队列、数据库和表。 创建CDM集群 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。 该场景下，如果CDM集群只是用于迁移OB
Oracle数据迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Oracle连接
Oracle数据迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Oracle连接
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下： 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。 已经开通
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下： 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。 已经开通
CDM任务检查网络连通性，源端数据库连接问题，测试连通性提示如下问题： “请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。” 故障分析 查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。 从结果看考虑是CDM集群自身问题。通
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Elasticsearch连接
已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。 已经在DLI服务中创建好资源队列、数据库和表。 创建CDM集群 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。 该场景下，如果CDM集群只是用于迁移OB
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下： 创建CDM集群并绑定EIP 创建云搜索服务连接 创建Elasticsearch连接
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请参见配置PostgreSQL/SQL
搜索：Elasticsearch，云搜索服务（CSS） 消息系统 数据接入服务（DIS） 搜索：云搜索服务（CSS） 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS
搜索：Elasticsearch，云搜索服务（CSS） 消息系统 数据接入服务（DIS） 搜索：云搜索服务（CSS） 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS
是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。 是 访问标识（AK） “OBS支持”设置为“是”时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
