检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
park等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度,支持按时间、事件触发的任务触发机制,支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心,监控所有任务的运行,支持配置各类报警通知,便于责任人实时获取任务的情况,保证业务正常运行。
Studio权限的操作准备必要的IAM用户,然后参考本章节将该用户添加为工作空间成员并配置工作空间角色。 图1 权限体系 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,您也可以参考(可选)自定义工作空间角色自定义角色
导入”,进入导入API页面。 在导入页面中配置导入参数后,单击“选择Excel文件”,选择待导入的API文件后单击导入,导入结果中可以展示导入状态。 当前仅专享版支持按照导入文件定义自动新建审核人(须确保审核人已为当前工作空间成员)。 表1 导入参数配置说明 参数 说明 是否发布 配置导入的API是否需
Studio权限的操作准备必要的IAM用户,然后参考本章节将该用户添加为工作空间成员并配置工作空间角色。 图1 权限体系 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,您也可以参考(可选)自定义工作空间角色自定义角色
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。
SOFTLY:一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断,并重启集群的虚拟机。 restartLevel 否 String 重启级别: SERVICE:重启服务。 VM:重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型,只支持“cdm”。
index starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字段映射,赋值来源为“源表字段”,赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字
在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。升级解决方案时,会停止其中正在运行的作业,系统将依据用户配置的升级重启策略,判断是否在升级完成后重新启动作业。
创建一个数据开发模块空作业,作业名称为“job_DLI_Spark”。 图2 创建作业 然后进入作业开发页面,拖动DLI Spark节点到画布并单击,配置节点的属性。 图3 配置节点属性 关键属性说明: DLI队列:DLI中创建的DLI队列。 作业运行资源:DLI Spark节点运行时,限制最大可以使用的CPU、内存资源。
设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts Studio服务下所有资源快速开启告警的能力,旨在帮助用户快速建立监控告警体系,在资源异常
在逻辑模型中选择所需要的逻辑模型,单击该模型进入管理页面,然后单击“新建”按钮新建一个逻辑实体。 在“新建逻辑实体”页面,根据页面提示完成相关配置。 填写基本配置参数。 图3 基本配置 表2 基本配置 参数名称 说明 *所属主题 单击“选择主题”选择所属的主题信息。 逻辑实体编码 支持自动生成和自定义两种方式。
于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本/作业,不会影响调度中的脚本/作业;另外在作业关联脚本、配置作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。在正式调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统
败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该
息请参见实时集成作业监控:查看作业详细信息。 实时集成作业监控:启动 单击“启动”,弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时,会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”,启动该任务。
败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该
自然周期调度之上一周期依赖原理 自然周期调度的概念 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,展开DWS数据连接,选择需配置的数据库,展开目录层级至“schemas”,右键单击“schemas”,选择“新建模式”。 在弹出的“新建模式”页面,配置如表1所示的参数。 表1 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。
根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并发数配置”页面,配置SQL并发数。输入值必须在10到1000之间。单击“确定”,完成配置。 说明: 并发数是指单个数据连接下的SQL并发数,如果超出则等待排队执行。