检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
度配置”，配置如表3所示的参数。 图3 调度配置 表3 调度配策略参数说明 参数 说明 DIS通道名称 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。 事件处理并发数 选择作业并行处理的数量，最大并发数为10。 事件检测间隔 配置事
作业开发流程 作业开发功能提供如下能力： 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。
配置角色前，已完成空间权限集的配置，请参考配置空间权限集。 MRS和DWS角色同步时，系统通过管理中心组件数据连接中的用户进行账号相关的增删改查等操作，因此对数据连接中的用户有以下权限要求： MRS Ranger连接中的用户需具备Ranger组件Admin权限。 DWS连接中的数据库用户，在非三权分立模式下至少需具
业务。 Spark版本 否 选定DLI队列后，下拉可选择作业使用Spark组件的版本号，使用时如无特定版本要求时使用默认版本号2.3.2，有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型，当前支持基础型、AI增强型和自定义的Spark镜像。 自定义
数据类型的编码，必须为数仓支持的类型。只能包含大写字母，下划线，数字，且以大写字母或下划线开头。 所属域 选择新建类型所属的域。 是否有拓展 对于某些数据类型，需要设定数据的长度范围时，可以打开“是否有拓展”开关，并配置对应的拓展。 例如高精度数据类型DECIMAL(p,s)，需要分别指定小数的最大位数(p
定义字段，附加字段会成为一个新的字段加入到DWS表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址：source.host 源端schema名称：mgr.source.schema 源端table名称：mgr.source.table 目的端schema名称：mgr
请输入有效的消费组ID。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String
边数据集罗列了各个边的数据信息，一行为一条边的数据。GES中图规格是以边的数量进行定义的，如一百万边。格式如下所示，id 1、id 2是一条边的两个端点的id。 id 1, id 2, label, property 1, property 2, … 您可以在DataArts Stud
下划线，且以中文或英文字母开头。 *字段编码 字段编码。只能包含英文字母、数字、下划线，且以英文字母开头。 *字段数据类型 支持的数据类型有：STRING、BIGINT、DOUBLE、TIMESTAMP、DATE、BOOLEAN、DECIMAL。 字段描述 字段的描述信息。支持的长度0~600个字符。
MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 SQL脚本 是 仅“脚本类型”配置为“在线脚本”时可以配置。 选择已创建的Spark
在“from-config-values”数据结构中，不同的源连接类型有不同的“inputs”参数列表，请参见源端作业参数说明下的章节。在“to-config-values”数据结构中，不同的目的连接类型有不同的“inputs”参数列表，请参见目的端作业参数说明下面的子章节。在
则该字段必选。 Content-Type 否 String 默认值：application/json;charset=UTF-8 可选，有Body体的情况下必选，没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 是 Array of
输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 schema Where子句 该参数适用于整库迁移中的所有子表，配置子表抽取范围的Where子句，不配置时抽取整表。如果
配置软硬锁策略 脚本/作业开发 作业或脚本的抢锁操作依赖于软硬锁处理策略。 脚本变量定义 脚本开发 脚本变量的格式定义。SQL脚本的变量格式有${}和${dlf.}两种。 配置数据导出策略 脚本/作业开发 对SQL执行结果框中的数据配置下载或转储的策略。 所有用户都可以 所有用户都不能
MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等
您可以选择重启CDM服务进程或重启集群VM，选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 父主题： 创建并管理CDM集群
MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的
义字段，附加字段会成为一个新的字段加入到Hudi表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址：source.host 源端schema名称：mgr.source.schema 源端table名称：mgr.source.table 目的端schema名称：mgr
数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：
关闭基线任务，系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 ：开启报警开关，当系统预测到基线上任务无法在承诺时间前完成，或上游任务有出错或变慢的情况，将发送报警信息，用户将收到基线任务的报警信息。 ：关闭报警开关，用户无法收到基线任务的报警信息。 最大通知次数 支持配置“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
