检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时作业监控 实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的
Job内嵌对象 Job为作业对象，提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。 planTime java.util.Date 作业调度计划时间，即周期调度配置的时间，例如每天凌晨1:01调度作业。
MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase SQL ModelArts Train Http Trigger OCR
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
配置权限详见配置权限集或配置角色。 DWS联通性测试前，已完成用户同步，然后将当前登录账号切换为IAM子用户账号，且至少具有DWS Database Access权限。 已经为MRS Hive连接和MRS SPARK连接中的用户配置了代理权限，请参考参考：为MRS数据连接用户配置代理权限进行配置。
BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
DLI权限同步时，需要该权限。 例如DLI权限同步时，如果无此权限会导致同步失败，系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark：执行DLF服务的Spark作业 RDSSQL：传递SQL语句到RDS中执行。 ModelArts Train：执行ModelArts服务的workflow作业。 retryTimes 否 Integer
长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型，包含： DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项，不同类型的连接配置项不同。DLI类
长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型，包含： DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项，不同类型的连接配置项不同。DLI类
伪代码中参数说明如表1所示。 表1 参数说明 参数名称 参数解释 APP secret 签名密钥，认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 string to sign 创建的待签字符串 假设APP
长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型，包含： DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项，不同类型的连接配置项不同。DLI类
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力，全向导式配置和管理，支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包，系统会按照
企业模式下，支持从脚本开发界面快速前往发布。鼠标放置在上，单击“前往发布”，进入待发布任务界面。 支持Hive SQL、DLI SQL、DWS SQL、RDS SQL和Impala SQL脚本可以查看右侧的数据表，单击表名前面的单选框，可以查看该数据的列名、字段类型和描述。 支持通过“责任人”和
0以下时，才支持用户同步。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 DWS数据源用户同步前，要求用户已至少配置DWS Database Access权限，否则会同步失败。 IAM用户同步到DWS，需要为dlg_agency委托配置如下权限，详见授权dlg_agency委托：
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务（批处理作业）。 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即
如果选择写入到OBS，此参数表示相应的OBS桶下的目录，例如：“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时，任务自动结束，已经导入的数据不回退。 schedulerConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
