-
HDFS连接 - 云数据迁移 CDM
HD对接的CAS Server的端口。 linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.authType
-
CDM连接RDS-Mysql ,除root用户外,其他用户都报错 - 云数据迁移 CDM
CDM连接RDS-Mysql ,除root用户外,其他用户都报错 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 mysql>use mysql; 授权: 例如想root使用123456从任何主机连接到mysql服务器: mysql>GRANT
-
上传存量数据 - 云数据迁移 CDM
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
-
迁移数据到DLI时有数据丢失怎么处理? - 云数据迁移 CDM
迁移数据到DLI时有数据丢失怎么处理? 问题描述 目的端是DLI的迁移作业执行成功后,显示迁移的数据条数和DLI表中查询的数量对不上,存在数据丢失。 原因分析 查看客户的作业配置,客户并发数设置的是3,如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1
-
新建表/文件迁移作业 - 云数据迁移 CDM
当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时,该参数才显示。 OBS上
-
Hive连接 - 云数据迁移 CDM
HIVE_1_X HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.uri 否
-
HBase连接 - 云数据迁移 CDM
HBASE_1_X HBASE_2_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.authType
-
MySQL数据迁移到MRS Hive分区表 - 云数据迁移 CDM
Viewer系统权限,否则会无法访问OBS并报“403 AccessDenied”错误。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图5所示。 图5 单击新增访问密钥 单击“
-
MySQL数据迁移到MRS Hive分区表 - 云数据迁移 CDM
Viewer系统权限,否则会无法访问OBS并报“403 AccessDenied”错误。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图5所示。 图5 单击新增访问密钥 单击“
-
如何查看审计日志 - 云数据迁移 CDM
在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。 在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。
-
通用类 - 云数据迁移 CDM
CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? 套餐包到期未续订或按需资源欠费时,我的数据会保留吗?
-
通过CDM节点批量创建分表迁移作业 - 云数据迁移 CDM
不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和
-
配置MRS ClickHouse源端参数 - 云数据迁移 CDM
对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
-
FTP测试连通性失败,报服务器内部错误怎么解决? - 云数据迁移 CDM
试成功。 针对FTP服务器的防火墙来说,必须允许以下通讯才能支持主动方式FTP: 1. 任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)。 2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)。 3. FTP服务器的20端口到大于10
-
管理集群配置 - 云数据迁移 CDM
ClickHouse 针对MRS 3.x版本集群: 登录FusionInsight Manager。 选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”,界面显示“下载集群客户端”对话框。 对话框中选择“仅配置文件”,平台类型和服务端保持一致,其他保持默认即可,单击确认后进行本地下载。
-
CDM迁移近一个月的数据 - 云数据迁移 CDM
单击“下一步”,配置连接参数,依次填写相关信息。“认证类型”选择“SIMPLE”,运行模式保持默认即可。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。 华为云CDM创建迁移作业 在CDM集群的作业管理界面,选择“表/文件迁移 > 新建作业”,每个表文件的目录作为一个迁移作业。
-
Hudi目的端案例库 - 云数据迁移 CDM
作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? 执行作业后(非失败重试),作业执行卡Running,但是数据写入行数一直显示为0如何处理? 执行Spark SQL写入Hudi失败怎么办? 作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败怎么处理?
-
读Hudi作业长时间出于BOOTING状态怎么解决? - 云数据迁移 CDM
Server的Yarn任务,找到自己队列下Running Container大于1的任务,查看ApplicationMaster,单击SQL页签,可以看到正在执行的SQL,单击Stages页签,可以看到每条SQL的执行进度。 CDM在作业BOOTING阶段无法查看日志,如果找不到Yarn任务,请
-
停止集群(待下线) - 云数据迁移 CDM
项目ID,获取方法请参见项目ID和账号ID cluster_id 是 String 集群ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。
-
配置DDS目的端参数 - 云数据迁移 CDM
名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 父主题: 配置作业目的端参数