检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当使用AK/SK方式认证时，使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息，从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口，https的默认端口为443。 使用AK/SK认证时必选。
策略 类型 协议端口 源地址 1 允许 IPv4 全部协议 IP地址：资源组网段 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Mig
存”。 表2 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
ip 否 String DWS集群的访问地址。 通过DWS管理控制台获取访问地址： 登录管理控制台。 单击“数据仓库服务”，左侧列表选择集群管理。 单击集群名称，进入集群基本信息页面。 在数据库属性标签中可以查看到内网IP，如果有多个IP地址，选择第一个IP。 默认值为空。 port
String 连接Apache Hadoop时的Namenode URI地址，格式为“ip:port” linkConfig.hiveMsUris 否 String 连接Apache Hadoop时的Hive元数据地址，参考 hive.metastore.uris配置项。例如：thri
URI 是 使用集群配置为否时，是必选项。 NameNode URI地址。例如：hdfs://nn1_example.com/ Hive元数据地址 是 使用集群配置为否时，是必选项。 设置Hive元数据地址，参考 hive.metastore.uris配置项。例如：thrift
说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群
取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。 opentsdb-sp8afz7bgbps5ur.cloudtable.com:4242 安全模式 选择安全或非安全模式。
作业JSON就是创建CDM作业的请求消息体模板，URL地址中[Endpoint]、{project_id}、{cluster_id}需要替换为您实际的信息： [Endpoint]：终端节点。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的En
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入OBS控制台
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
策略 类型 协议端口 源地址 1 允许 IPv4 全部协议 IP地址：资源组网段 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Mig
要访问其他项目或企业项目的MRS集群，则需要获取MRS Manager的浮动IP地址并手动输入，并确保已打通本连接Agent（即CDM集群）和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取，执行ifconfig命令，回显中eth0:wsom的IP就是MRS
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址，可填写为IP或域名，其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。
要访问其他项目或企业项目的MRS集群，则需要获取MRS Manager的浮动IP地址并手动输入，并确保已打通本连接Agent（即CDM集群）和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取，执行ifconfig命令，回显中eth0:wsom的IP就是MRS
HTTP请求方式，表示请求什么类型的操作，包含GET、POST等，遵循resultful风格。 GET：请求服务器返回指定资源，推荐使用GET请求。 POST：请求服务器新增资源或执行特殊操作。POST请求当前不支持body体，而是直接透传。 描述 对API进行简要描述。 标签
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
