检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则：分钟是最小调度粒度，没有自然分钟周期的概念，依赖策略是往前推一个调度周期找依赖实例。 举例1：A依赖B，为同周期分钟作业，在同一时间点，B执行完后开始执行A。 图2 分钟依赖分钟举例一 举例
} } 图2 调用接口获取Token 获取返回的响应消息头Header中“x-subject-token”值，此即为用户Token。有了Token之后，您就可以在调用API的时候将Token加到请求消息头，从而通过身份认证，获得调用API的权限。 图3 获取Token 调用API
在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图1所示。 图1 选择连接器类型 连接器类型选择“MRS Hive”后单击“下一步”，配置MRS Hive连接的参数，如图2所示。 图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数，这里保持默认，必填参数如下表所示。
作业拆分为多少个子作业执行。 - 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partitions和dba_ta
是否允许分区字段包含空值。 是 按表分区抽取 支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的表分区。 该功能不支持非分区表。 仅支持源端数据源为PostgreSQL时配置该参数。 数据库用户需要具有系统视图dba_tab_partitions和db
的传值变化的静态参数，因此无需在调用时输入，不需要关注。 图2 保存调用地址、请求方法和入参信息 获取JavaScript SDK包 在数据服务页面，单击左侧导航栏的“SDK”，然后下载JavaScript SDK。 图3 下载JavaScript SDK 进行SDK包完整性校验
WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后，保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚
st，则目的端表名只能选择test。 图2 字段映射关系 单击“下一步”配置任务参数。 图3 任务参数 各参数说明如表3所示。 表3 任务配置参数 参数 说明 取值样例 同时执行的表个数 抽取时并发执行的表的数量。 3 抽取并发数 当前任务从源端进行读取最大线程数。 说明： 由于
BS桶与DataArts Studio实例中的CDM集群的所在区域保持一致，企业项目也应相同。 您需要在图引擎GES服务控制台，创建一个图，用于将图数据导入其中，并进行可视化图形分析。GES与DataArts Studio实例中的CDM集群的所在区域保持一致，企业项目也应相同。 数据源准备
MySQL到DWS参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
WHERE DATE = ${DATE}) 图1 开发脚本 脚本编写完成后，保存并提交此脚本的最新版本。 开发一个补数据的批处理作业。开发作业时，您需要配置节点属性参数和调度周期。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 图2 节点参数 如果作业所关联的SQL脚
M首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 在左侧导航栏中单击“集群管理”进入“集群管理”页面。然后，在集群列表中找到所需要的集群，单击“作业管理”。 图2 集群管理 进入作业管理后，选择“连接管理”。 图3 连接管理
是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partitions和dba_t
跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。
单击已开通实例卡片上的“购买增量包”。 图1 购买增量包 方式二： 选择实例，单击“进入控制台”。 单击右上角“购买增量包”，进入购买DataArts Studio增量包页面。 方式三： 选择实例，单击“更多 > 资源管理”，进入资源管理页面。 图2 进入资源管理 在“实时资源管理”
您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials
是不随API调用者的传值变化的静态参数，因此无需在调用时输入，不需要关注。 图2 保存调用地址、请求方法和入参信息 获取SDK包 在数据服务页面，单击左侧导航栏的“SDK”，然后下载Java SDK。 图3 下载SDK 进行SDK包完整性校验。Windows操作系统下，打开本地命
Kafka。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创建的MySQL、DMS Kafka数据连接和已配置好网络连接的资源组。 图3 选择数据连接及资源组
页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图2所示。 数据连接类型：MapReduce服务（MRS Hive）。
在物理机纳管场景下，如果物理机纳管网段与集群网段不一致，需要配置路由。 进入集群“基本信息”页面，单击配置路由项的“新建”按钮，新增物理机的IP地址，如图2所示。 图2 基本信息 操作步骤 购买数据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。 单击已开通实例卡片上的“购买增量包”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
