检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置互斥 通过配置互斥组，可以避免多个作业去并发的运行。配置好互斥组以后，本次设置将在作业的下一个调度周期生效。 互斥组配置完成后，在同一个互斥组内的作业，只能有一个作业是运行中，其他作业生成实例后则处于等待运行中。当运行中的作业运行完（包括执行成功、执行失败、取消）或者停止调度后
varchar(10),name varchar(32)); 在CDM集群下，创建连接到MySQL的连接，例如连接名称为“mysqltestlink”。创建连接到DWS的连接，例如连接名称为“dwstestlink”。 运行下述代码，依赖HttpClient包，建议使用4.5版本。Maven配置如下：
表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。 是 DIS分区ID DIS分区ID，该参数支持输入多个分区ID，使用英文逗号（
的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。 调度依赖就是节点间的上下游依赖关系，在DataArts Studio中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。 配置调度依赖后，可以保障调度任务在运行时能取到正确的数据（当前节点
重启CDM集群 操作场景 在进行某些配置修改（如关闭用户隔离等）后，需要重启集群才能生效。此时您需要进行集群重启操作。 重启CDM集群进程或集群VM都会导致正在运行的作业失败，重启期间也无法调度新的作业，请谨慎操作！ 前提条件 已创建CDM集群。 重启集群 登录CDM管理控制台。
连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
板，同时在配置作业运行参数的时候，可以直接使用作业参数模板，不用再进行重复配置。 约束限制 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink
详细操作请参见配置模板。 MRS Flink作业的运行程序参数，请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 否 配置Flink作业执行参数。 Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列
Spark作业的运行程序参数，请参见《MapReduce用户指南》中的运行Spark作业。 参数 是 仅“脚本类型”配置为“离线脚本”时可以配置。 输入参数信息，多个参数间使用Enter键分隔。 执行程序参数 否 输入MRS的执行程序参数。 不同参数间用空格隔开，可通过在参数名前添加@的方式防止参数信息被明文存储。
步。 运行模式 是 配置Flink作业的运行模式。 批处理：指Flink作业为批模式运行，节点会一直等待Flink作业执行完成才结束。 流处理：指Flink作业为流处理运行模式，节点执行时只要作业启动成功即执行成功。后续每次周期运行时检查任务是否处于运行状态，如果处于运行状态，则认为节点执行成功。
节点状态为成功，为什么日志显示运行失败？ 问题描述 节点状态为成功，日志显示运行失败。 解决方案 强制成功操作会更新作业实例（和节点）状态为成功。 父主题： 数据开发
的详细操作请参见配置模板。 MRS Flink作业的运行程序参数，请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 配置Flink作业执行参数。 Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列
主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集
操作。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能，即使华为账号下的其他IAM用户无法查看到组内作业，按组批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业
背景信息 您可以在DataArts Studio实例卡片上，通过“更多 > 查看增量包”，查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面： 套餐计费：在DataArts
Job节点用于创建和启动作业，或者查询DLI作业是否正在运行，实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后，若处于运行中的状态，则认为节点执行成功。若作业配置了周期调度，则会周期检查该Flink作业是否依然处于运行中的状态，如果处于运行状态，则认为节点执行成功。 参数 DLI
停止作业实例 功能介绍 停止指定作业实例。只有作业实例的状态是运行中，才能停止作业实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/instances/{instance_id}/stop
Shell/Python节点执行失败，后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了，实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800] [INFO] No job-level
DLI队列：DLI中创建的DLI队列。 作业运行资源：DLI Spark节点运行时，限制最大可以使用的CPU、内存资源。 作业主类：DLI Spark节点的主类，本例的主类是“org.apache.spark.examples.SparkPi”。 Spark程序资源包：3中创建的资源。 作业编排完成后，单击，测试运行作业。
通过VPN连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下，通过VPN打通网络的方案。 图1 网络示意图
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
