检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。
付费模式： 0：按需。 1：包周期。 publicIp String 集群绑定的公网地址。 trafficIp String 集群的内网地址。 trafficIpv6 String 集群的内网IPv6地址。 cluster_id String 集群ID。 表5 flavor 参数 参数类型
要访问其他项目或企业项目的MRS集群，则需要获取MRS Manager的浮动IP地址并手动输入，并确保已打通本连接Agent（即CDM集群）和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取，执行ifconfig命令，回显中eth0:wsom的IP就是MRS
HDFS”后单击“下一步”，配置MRS HDFS链接参数。 名称：用户自定义连接名称，例如“mrs_hdfs_link”。 Manage IP：MRS Manager的IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS
dpoint您可以从终端节点Endpoint获取。 cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址，且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。
您可以通过使用集群配置，简化Hadoop连接参数配置。默认：关闭。 URI 是 是否使用集群配置开关打开时显示该参数。 表示NameNode URI地址。可以填写为：hdfs://namenode实例的ip:8020。 IP与主机名映射 否 是否使用集群配置开关打开时显示该参数。 运行模式
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库，不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名，多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。
败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 hivelink URI NameNode URI地址。 hdfs://hacluster Hive元数据地址 设置Hive元数据地址，参考 hive.metastore.uris配置项。例如：thrift://host-192-168-1-212:9083
策略 类型 协议端口 源地址 1 允许 IPv4 全部协议 IP地址：资源组网段 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Mig
在弹出的导出窗口中，确认选择无误后单击“导出”，导出规则模板。 图2 规则模板导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”，进入质量作业列表。 在质量作业列表，
取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 单击脚本目录中的，选择“显示复选框”。 勾选需要导出的脚本，单击 > 导出脚本。导出完成后，即可通过浏览器下载地址，获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面，选择需要导出的脚本的状态，单击“确定”。 图2 导出脚本 导入脚本
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id String 公网域名ID。 public_zone_name
作业JSON就是创建CDM作业的请求消息体模板，URL地址中[Endpoint]、{project_id}、{cluster_id}需要替换为您实际的信息： [Endpoint]：终端节点。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的En
表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 说明： 当前DataArts Studio不支持对
从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
