检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
)”,基线任务以及其依赖链上游的所有任务运行异常或者失败后,在任务未修复前,可以设置间隔时间发送告警通知。 说明: 最大通知次数可设置为1~50。默认为1时,最小通知间隔不显示。 最小通知间隔可设置为5~60。 通知方式 按主题 按责任人 主题 当“通知方式”选择“按主题”时才需配置。
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
符合清洗规则的数据自动归档到脏数据日志中,方便用户分析异常数据。并支持设置脏数据比例阈值,来决定任务是否成功。 数据架构:数据建模可视化、自动化、智能化 DataArts Studio数据架构践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,
量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。 配置方法 创建质量作业 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。
是 String 项目编号,获取方法请参见项目ID和账号ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
时,您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限,把角色授予成员后,成员即具有了角色的所有权限。每位成员至少要拥有一个角色,并且可以同时拥有多种角色。 数据集成集群 一个数据集成集群运行在一个弹性云服务器之上,用户可以在集群中创建
说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表1 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需
是 HTTP消息的最长等待时间。若超时未收到消息,作业会被停止,节点状态置为取消。 最长等待时间的取值为1-24小时,默认为24小时。超过设置的最长等待时间,该节点及后续节点取消运行。 父主题: 节点参考
URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 resource_id 是 String 资源ID,获取方法请参见查询资源列表。返回的id即为resource_id。 请求参数 表2 请求Header参数
ate_test”和“test1”在云搜索服务中不存在时,CDM会在云搜索服务中自动创建该索引和类型),则CDM默认会将时间类型字段的格式设置为“yyyy-MM-dd HH:mm:ss.SSS Z”的标准格式,例如“2018-01-08 08:08:08.666 +0800”。 图2
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台
以为基线设置预警余量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上
数据集成、计算&分析、数据库操作、资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。 并行连接:A节点和B节点同时执行。
服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
关系型数据库数据源的访问地址,可填写为IP或域名。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。
ischeck=true 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 connection_name 是 String 连接名称。 ischeck 否 String 是否校验,默认否。
eck-file 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 参数说明 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景: 作业定
说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需