检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
a; select * from table b。 不支持with语句。 不支持注释 ,比如 "--" ,“/*”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into
MySQL整库迁移到RDS服务 操作场景 本章节介绍使用CDM整库迁移功能,将本地MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库,整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以
MySQL整库迁移到RDS服务 操作场景 本章节介绍使用CDM整库迁移功能,将本地MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库,整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以
已获取OBS的访问域名、端口,以及AK、SK。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创
已获取OBS的访问域名、端口,以及AK、SK。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
步骤3:创建并执行作业 操作场景 创建CDM迁移数据表的作业,执行从MySQL数据库迁移表到DWS的任务。 操作步骤 在集群管理界面,找到步骤1:创建集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”,进入作业管理界面。 选择“表/文件迁移 > 新建作业”,配置作业基本信息。
步骤2:创建连接 操作场景 迁移MySQL数据库到数据仓库服务DWS前,需要创建两个连接: MySQL连接:CDM连接RDS for MySQL实例。 DWS连接:CDM连接DWS集群。 前提条件 已拥有RDS for MySQL实例,已获取连接MySQL数据库的数据库名称、用户
一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误,是用户使用Mysql账号没有给CDM集群授权,用户侧Mysql数据库需要对cdm集群的ip授权。 父主题: 故障处理类
操作流程概述 流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS
有DWS数据库的读、写和删除权限。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP 如果是独立C
有DWS数据库的读、写和删除权限。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP 如果是独立C
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
请参见Elasticsearch/云搜索服务(CSS)数据库迁移时支持的数据类型。 MySQL数据库迁移时支持的数据类型 源端为MySQL数据库,目的端为Hive、DWS时,支持的数据类型如下: 表2 开源MySQL数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS
请参见Elasticsearch/云搜索服务(CSS)数据库迁移时支持的数据类型。 MySQL数据库迁移时支持的数据类型 源端为MySQL数据库,目的端为Hive、DWS时,支持的数据类型如下: 表2 开源MySQL数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS
创建迁移作业 前提条件 已经购买MRS。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 在MRS Hive上创建Hive分区表
cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该