-
认证鉴权 - 云数据迁移 CDM
进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret
-
配置HBase连接 - 云数据迁移 CDM
可单击属性后的“删除”按钮进行删除。 Apache HBase 连接Apache Hadoop上的HBase数据源时,相关参数如表3所示。 表3 Apache HBase连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
-
配置HDFS连接 - 云数据迁移 CDM
属性,可单击属性后的“删除”按钮进行删除。 Apache HDFS 连接Apache Hadoop上的HDFS数据源时,相关参数如表3所示。 表3 Apache HDFS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
-
配置Elasticsearch/云搜索服务(CSS)目的端参数 - 云数据迁移 CDM
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为配置Elasticsearch连接或配置云搜索服务(CSS)连接时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置的参数不
-
查询集群详情 - 云数据迁移 CDM
集群快照进度,例如:29% REPAIRING String 修复集群进度,例如:29% 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/bae65496-643e-47ca-84af-948672de7eeb 响应示例
-
如何备份CDM作业? - 云数据迁移 CDM
如何备份CDM作业? 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,仅在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 功能类
-
CDM迁移数据到DWS时如何选取分布列? - 云数据迁移 CDM
CDM迁移数据到DWS时如何选取分布列? 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。 图1 选取分布列 由于分布列的选取,对于DWS/FusionInsight
-
如何使用表达式方式获取当前时间? - 云数据迁移 CDM
如何使用表达式方式获取当前时间? 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 功能类
-
如何查看审计日志 - 云数据迁移 CDM
前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。 在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。 其中,CDM的操作事件您可以在“事件来源”中筛选“CDM”进行查看。
-
创建集群 - 云数据迁移 CDM
a79fd5ae-1833-448a-88e8-3ea2b913e1f6:表示cdm.small规格,2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。
-
配置Hive连接 - 云数据迁移 CDM
登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图3所示。 图3 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access
-
重启集群 - 云数据迁移 CDM
Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 重启”,进入重启集群确认界面。 图2 重启集群 您可以选择重启CDM服务进程或重启集群VM,选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。 重启集
-
如何查看套餐包的剩余时长? - 云数据迁移 CDM
如何查看套餐包的剩余时长? 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理-续费管理”查看对应套餐包的剩余时长。 父主题: 通用类
-
配置FTP/SFTP连接 - 云数据迁移 CDM
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
-
创建MySQL连接器 - 云数据迁移 CDM
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MySQL”后单击“下一步”,配置MySQL连接的参数。
-
创建MySQL连接器 - 云数据迁移 CDM
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MySQL”后单击“下一步”,配置MySQL连接的参数。
-
整库迁移到Hive,报错Identifier name is too long如何处理? - 云数据迁移 CDM
name is too long如何处理? 问题描述 迁移任务报错表名太长,但表名实际没有这么长。 原因分析 在任务迁移时,导入数据前会先创建一个实际表名+阶段表后缀的阶段表,最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否,这样就不会先导入阶段表。 缩短实际表的表名长度。
-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
-
CDM连接RDS-Mysql ,除root用户外,其他用户都报错 - 云数据迁移 CDM
除root用户外,其他用户都报错 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 mysql>use mysql; 授权: 例如想root使用123456从任何主机连接到mysql服务器: mysql>GRANT ALL PRIVILEGES
-
MongoDB连接 - 云数据迁移 CDM
是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig