检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时，源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语
配置DLI源端参数 作业中源连接为DLI连接时，源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。
配置OpenTSDB源端参数 作业中源连接为CloudTable OpenTSDB连接时，源端作业参数如表1所示。 表1 OpenTSDB作为源端时的作业参数 参数名 说明 取值样例 开始时间 查询的起始时间，格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时，源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
String 源端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。 hbase-connector：HBase连接、CloudTable连接。 hive-connector：Hive连接。
String 源端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。 hbase-connector：HBase连接、CloudTable连接。 hive-connector：Hive连接。
配置分库源端参数 作业中源连接为分库连接，源端作业参数如表1所示。 表1 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。
环境变量、作业参数、脚本参数有什么区别和联系？ 打不开作业日志，返回404报错？ 配置委托时获取委托列表失败如何处理？ 数据开发创建数据连接，为什么选不到指定的周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？ Hive SQL和Spark SQ
配置Hive目的端参数 作业中目的连接为Hive连接时，目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时，源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间
一致时，可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注：如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 当C
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
创建数据连接，用于跨源数据对账。 操作步骤 建立跨源数据连接。 创建DLI数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据湖探索（DLI）”，输入数据连接名称，单击“测试”，提示连接成功，单击“确定”。 创建DWS数据连接。在DataArts
配置DWS目的端参数 作业中目的连接为DWS连接时，目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为
配置HTTP源端参数 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS
Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您需要拥有弹性云服务器ECS，并确保ECS主机和待调用的API之间网络可通，然后在DataArts Studio创建主机连接，通过Shell脚本使用CURL命令进行API调用。 Rest Client算子目前
本章节以可视化模式为例，介绍如何在数据开发模块新建数据库。 前提条件 已开通相应的云服务。比如，MRS服务。 已新建数据连接，请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库，建议通过SQL脚本方式进行创建。 删除数据库时，请确保该数据库未被使用，且没有关联数据表。
脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时，此参数才可以配置。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时，才显示该参数。 写入脏数据的OBS桶的名称。
（可选）新建数据库模式 DWS数据连接创建完成后，可以在右侧区域中管理DWS数据连接的数据库模式。 如果已有的数据库模式满足您的使用需求，则您可以跳过本章节；否则，请您按照本章节描述新建数据库模式。 前提条件 已新建DWS数据连接，请参见新建数据连接。 已新建DWS数据库，请参见新建数据库。
配置DDS目的端参数 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
