检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount.jar"，下载地址：https://github.com/huaweicloudDocs/dgc/blob/master/WordCount.jar 下载的
在左侧导航栏选择服务版本（例如：专享版），进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理，找到待调用的API，并单击API名称查看API的完整信息，保存调用地址、请求方法和入参信息。 调用地址：专享版支持内网地址和外网地址（外网地址需要您在创建集群时绑定弹性IP），如果需
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题： 管理中心
源地址 1 允许 IPv4 全部协议 IP地址：资源组网段 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 华为云数据库所在网络添加路由。
在排除源端负载的情况下，如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段，或者Kafka\hudi等数据源抽取速度慢，请优先尝试加大作业并发数，以提高作业的并发抽取速率。 Mysql\Oracle\SqlS
集群ID编号。 instance_name String 集群名。 intranet_host String 内网地址。 external_host String 外网地址。 domains Array of strings 网关域名。 表5 ApiPublishDTO 参数 参数类型
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为CloudTable（仅华北-北京一支持）、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。
randomUUID() 如果当前字段值为字符串类型，将首字母转换为大写，例如将“cat”转换为“Cat”。 表达式：StringUtils.capitalize(value) 如果当前字段值为字符串类型，将首字母转换为小写，例如将“Cat”转换为“cat”。 表达式：StringUtils
randomUUID() 如果当前字段值为字符串类型，将首字母转换为大写，例如将“cat”转换为“Cat”。 表达式：StringUtils.capitalize(value) 如果当前字段值为字符串类型，将首字母转换为小写，例如将“Cat”转换为“cat”。 表达式：StringUtils
Studio默认用的python2的解释器，python2默认的编码格式是ASCII编码，因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器，在主机上做一个软连接，如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 #
源地址 1 允许 IPv4 全部协议 IP地址：资源组网段 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 华为云数据库所在网络添加路由。
Studio数据开发，必须具备“作业日志OBS桶”的读、写权限，否则，在使用过程中，系统将无法正常读、写数据开发的作业日志。 单击“请选择”按钮，您可以选择一个已创建的OBS桶和对象，系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数，DataArts Studio数
支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅
Cluster：表示集群部署。 Proxy：表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码 连接Redis的密码。
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数
配置作业源端参数 配置MySql源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。 若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标
表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。 若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数
对于不同的数据源其使用的端口也不尽相同，具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况，仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000 PostgreSQL 5432 Oracle 1521 Kafka 非安全：9092/9094 安全：9093/9095
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
