检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名
HANA连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
表达式转换 使用JSP表达式语言(Expression Language)对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数,浮点数,字符串,常量true、false和null。 数据进行转换过程中,替换内容包含特殊字符时,需要先使用\将该字符转义成普通字符。
表达式转换 使用JSP表达式语言(Expression Language)对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数,浮点数,字符串,常量true、false和null。 数据进行转换过程中,替换内容包含特殊字符时,需要先使用\将该字符转义成普通字符。
数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
API访问权限,用户无法通过其他接口(如SSH)访问实例。这种方式保证了CDM用户间的隔离,避免数据泄漏,同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务,具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据
表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 是否压缩:DWS提供的压缩数据能力,如果选择“是”,将进行高级别压缩,CDM提供了适用I/O读写量大,CPU富足(计算相对小)的压缩场景。更多压缩级别详细说明请参见压缩级别。 存储模式:可以根据具体应用场
表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 是否压缩:DWS提供的压缩数据能力,如果选择“是”,将进行高级别压缩,CDM提供了适用I/O读写量大,CPU富足(计算相对小)的压缩场景。更多压缩级别详细说明请参见压缩级别。 存储模式:可以根据具体应用场
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
BS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥
源端作业配置: 源连接名称:选择5创建的HDFS连接“hdfs_link”。 源目录或文件:配置为H公司贸易数据在本地的存储路径,可以是一个目录,也可以是单独一个文件。这里配置为目录,CDM会迁移整个目录下的文件到OBS。 文件格式:选择“二进制格式”。这里的文件格式是指CDM传输
CDM适用于以下场景: 数据上云:使用华为公有云服务时,用户可以将其历史数据或增量数据从私有云/本地数据中心/第三方公有云迁移到华为云。 云服务间数据交换:用户可以在华为云的大数据服务、数据库服务、对象存储服务之间相互迁移数据。例如,可以将由MapReduce服务(MapReduce Se
BS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥
YASHAN连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 yashan_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
神通(ST)数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 st_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
迁移HDFS文件,报错无法获取块怎么处理? 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败? CDM迁移DWS数据报错Read timedout怎么处理?
上传CDM连接驱动 JDBC即Java DataBase Connectivity,java数据库连接;JDBC提供的API可以让JAVA通过API方式访问关系型数据库,执行SQL语句,获取数据。 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件
及数据源的地址、鉴权信息,例如连接到MySQL数据库需要主机地址、端口号、用户名、密码等配置信息。 一个连接被创建后可以被多个作业引用,且既可以作为源连接,也可以作为目的连接。 作业 作业是指用户创建的数据迁移任务,迁移特定数据源的数据到另一特定数据源。创建时需要指定源连接、目的连接、数据映射规则。