检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status String 节点配置状态(查询集群列表时为null): In-Sync:配置已同步。
任务日调度数:按照当天调度成功的节点进行统计,不区分实时任务和离线任务。 系统默认查看一个月内的任务日调度数和作业数,支持通过时间段筛选进行查看。 任务类型分布 可以直观地查看作业的任务节点类型分布图及数量。 任务表示作业中的算子。
task pauseJob 节点恢复 task resumeJob 节点手工重试 task redoJobs 节点跳过 task skipJob 节点强制成功 task forceJobSuccess 新建脚本 script addScript/createScript(api)
资源:用户可以上传自定义的代码或文本文件作为资源,以便在节点运行时调用。 表达式:数据开发作业中的节点参数可以使用表达式语言(Expression Language,简称EL),根据运行环境动态生成参数值。
当DataArts Studio实例使用配额接近或达到规格的情况下,您可以购买如下规格增量包: 作业节点调度次数/天增量包: 不同版本的DataArts Studio实例,提供了不同的作业节点调度次数/天规格限制。
图2 创建job_hive_sql作业 然后进入到作业开发页面,拖动MRS Hive SQL节点到画布中并单击,配置节点的属性。 图3 配置MRS Hive SQL节点属性 关键属性说明: 节点名称:默认显示为SQL脚本“hive_sql”的名称,支持修改。
从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例 父主题: 数据目录
选择Data_Quality_Monitor数据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。 图2 配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。
在DataArts Studio作业开发控制台,选择步骤6:数据开发处理中新建的作业,单击数据质量监控节点,然后在该节点的节点属性中,单击“数据质量规则名称”后的按钮,可以跳转到DataArts Studio数据质量控制台的“质量作业”页面。
进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。
name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status String 节点配置状态(查询集群列表时为null): In-Sync:配置已同步。
如果Elasticsearch服务器是在本地数据中心或第三方云上,需要确保Elasticsearch可通过公网IP访问,或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。
当调度参数取小时、分钟时,参数替换值由实例的计划时间决定,即由节点调度配置的计划调度时间决定。举例如下: 如果当前节点为日调度节点,并且设置计划调度时间为01:00,则小时的参数取值为01。
登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。
区域和终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 父主题: 咨询与计费
表7 InstanceNodeDTO 参数 参数类型 描述 id String 节点ID。 name String 节点名称。 private_ip String 节点IP地址。 status String 节点状态。 create_user String 节点创建人。
登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。
表5 InstanceNodeDTO 参数 参数类型 描述 id String 节点ID。 name String 节点名称。 private_ip String 节点IP地址。 status String 节点状态。 create_user String 节点创建人。
登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。
登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。