检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否允许分区字段包含空值。 是 按表分区抽取 支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的表分区。 该功能不支持非分区表。 仅支持源端数据源为PostgreSQL时配置该参数。 数据库用户需要具有系统视图dba_tab_partitions和db
WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后，保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚
跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。
WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后，保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚
单击已开通实例卡片上的“购买增量包”。 图1 购买增量包 方式二： 选择实例，单击“进入控制台”。 单击右上角“购买增量包”，进入购买DataArts Studio增量包页面。 方式三： 选择实例，单击“更多 > 资源管理”，进入资源管理页面。 图2 进入资源管理 在“实时资源管理”
Kafka。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的MySQL、DMS Kafka数据连接和已配置好网络连接的资源组。 图3 选择数据连接及资源组
是不随API调用者的传值变化的静态参数，因此无需在调用时输入，不需要关注。 图2 保存调用地址、请求方法和入参信息 获取SDK包 在数据服务页面，单击左侧导航栏的“SDK”，然后下载Java SDK。 图3 下载SDK 进行SDK包完整性校验。Windows操作系统下，打开本地命
您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials
页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图2所示。 数据连接类型：MapReduce服务（MRS Hive）。
在物理机纳管场景下，如果物理机纳管网段与集群网段不一致，需要配置路由。 进入集群“基本信息”页面，单击配置路由项的“新建”按钮，新增物理机的IP地址，如图2所示。 图2 基本信息 操作步骤 购买数据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。 单击已开通实例卡片上的“购买增量包”。
目的端选DWS。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的MongoDB、DWS数据连接和已配置好网络连接的资源组。 图3 选择数据连接及资源组
、数据集成、数据开发、数据质量、数据目录等组件。用户可根据业务需要申请相应规格的DataArts Studio实例。 工作空间 工作空间是从系统层面为管理者提供对使用DataArts Studio的用户（成员）权限、资源、DataArts Studio底层计算引擎配置的管理能力。
有且只有一个输出处理算子，并位于最下游，直接上游必须为普通API算子，必须配置至少一个结果映射。 API工作流不能有环状结构，不能有孤立算子，最多支持20层深度。 图1 API工作流编排页面 表1 API工作流算子介绍 配置入口 算子 是否必选 介绍 触发器 入口API 必选 入口API算子是API工作流
的端选DWS。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的PostgreSQL、DWS数据连接和已配置好网络连接的资源组。 图3 选择数据连接及资源组
MySQL到MRS Hudi参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
入口API访问路径即API工作流访问路径，例如：/getUserInfo。 请求Path即完整的URL中，域名之后、查询参数之前的部分，如图1中的“/blogs/xxxx”。 图1 统一资源定位符URL说明 在请求Path中，可以使用大括号{}标识路径中的参数作为通配符。如“/blogs/{blo
请求Path API访问路径，例如：/getUserInfo。 请求Path即完整的URL中，域名之后、查询参数之前的部分，如图1中的“/blogs/xxxx”。 图1 统一资源定位符URL说明 在请求Path中，可以使用大括号{}标识路径中的参数作为通配符。如“/blogs/{blo
端选Hudi。 图3 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库场景。 图4 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的SQLServer、MRS Hudi数据连接和已配置好网络连接的资源组。 图5 选择数据连接及资源组
Studio会自动将后期使用时长的差价原路返回到您的付款账户中）。 因此，我们强力推荐您将已有DataArts Studio实例从旧模式升级为新模式。各版本切换前后的情况对比如图1所示。 图1 模式切换前后对比（费用仅做示意，实际收费以官网显示为准） 版本模式升级操作不可回退，升级过程及升级后对功能
选择数据连接类型：源端选Oracle，目的端选Hudi。 图2 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库场景。 图3 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的Oracle、MRS Hudi数据连接和已配置好网络连接的资源组。 图4 选择数据连接及资源组
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
