检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端读取速度 取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mrs_hbase_link Manager IP MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 说明： 当前DataArts Studio不支持对
Studio与DWS数据湖的连接 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 在创建DWS类型的数据连接
和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 前提条件 已新增Shell脚本，请参见新建脚本。 已新建主机连接，该Linux主机用于执行Shell脚本，请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Sh
创建API时，有三种认证方式可选，不同认证方式的API支持的调用方式也有所不同，详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 （推荐）APP认证 高 通过APP应用将API授权给应用后，使用应用的密钥对（AppKey和AppSecret）进行安全认证。
当选取多个列做rowkey时，连接多列的分隔符，例如：“|”。 toJobConfig.isRowkeyRedundancy 否 Boolean 是否将选做Rowkey的数据同时写入HBase的列。 toJobConfig.algorithm 否 枚举 创建新HBase表时采用的压缩算法，支持SNAPPY和GZ算法，默认为“NONE”。
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。
选择同步场景，支持分库分表和整库同步方式，具体支持的数据源请参见支持的数据源。 不同场景介绍如表1所示。 表1 同步场景参数说明 场景类型 说明 整库 整库迁移场景支持同时对源端多张库表批量操作。 分库分表 将多个来源的多个数据库的多个分表迁移到目的端的一个表中，支持灵活配置来源库来源表和目标表的映射关系。 配置网络资源。
db_name}给源数据库名添加自定义字段变成目的端DWS表的库名。 如果包含内置参数#{source_db_name}，则会迁移至DWS目的端对应Schema中，如果不包含该内置参数，则会迁移至与源端数据库同名的Schema中。 表匹配策略：配置目标数据表的匹配策略，使数据按照
script_name 否 String 作业所依赖的脚本名称。 resource_name 否 String 作业所依赖的资源名称。 {job_name}.job文件内容 文件中的参数与创建作业接口的请求参数一样，请参考创建作业。 {script_name}.script文件内容
URI地址。可以填写为：hdfs://namenode实例的ip:8020。 IP与主机名映射 否 是否使用集群配置开关打开时显示该参数。 运行模式选择“EMBEDDED”、“STANDALONE”时，该参数有效。 如果HDFS配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。
downloadMap("url")) 取出缓存的IP与地址映射对象。 表达式：CommonUtils.getCache("ipList") 判断是否有IP与地址映射缓存。 表达式：CommonUtils.cacheExists("ipList") 根据IP取出对应的详细地址：国家_省份_城市_运营商，例如“1xx
数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使
CDM会迁移整个目录下的文件到OBS。 文件格式：选择“二进制格式”。这里的文件格式是指CDM传输数据时所用的格式，不会改变原始文件自身的格式。迁移文件到文件时，推荐使用“二进制格式”，传输的效率和性能都最优。 目的端作业配置： 目的连接名称：选择7创建的OBS连接“obslink”。
在云上和云下的同构/异构数据源之间批量迁移数据。 数据源 即数据的来源，本质是讲存储或处理数据的媒介，比如：关系型数据库、数据仓库、数据湖等。每一种数据源不同，其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据状态是“创建”之后的“原始状态”
Studio对接数据源，即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立，使用场景各有不同。 管理中心的数据连接用于对接数据湖底座，DataArts Studio基于数据湖底座，提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成
STANDALONE模式。 说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 linkConfig.accessKey
投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。 源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。 图3 配置源表与目标表映射 分库分表场景 源端配置。 图4 添加逻辑表
Manager的浮动IP地址并手动输入，并确保已打通本连接Agent（即CDM集群）和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取，执行ifconfig命令，回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录M
使用DataArts Studio前的准备 准备工作 步骤3：数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务，支持单表/文件迁移、整库迁移、增量集成，支持自建和云上的文件系统，关系数据库，数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
