检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通知管理 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
运维管理接口 获取任务执行结果列表 获取实例结果 数据质量运维管理操作处理&记录 父主题: 数据质量API
数据管理流程 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。通过数据管理,您可以: 支持管理DWS、MRS Hive、MRS Spark、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意,在MRS API连接方式下,不支持通过可视化
管理中心 DataArts Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办?
运维概览 在“运维调度 > 运维概览”页面,用户可以通过图表的形式查看作业实例的统计数据,目前支持查看以下七种统计数据。 运行状态 通过时间和责任人可以筛选出今天的我的或者全部责任人的作业实例调度运行状态概览 通过时间和责任人可以筛选出昨天的我的或者全部责任人的作业实例调度运行状态概览
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 基线运维”。 选择“事件管理”页签进入事件管理页面。 在事件管理的列表里面,可以查看事件的
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 基线运维”。 选择“基线管理”页签。 单击“新建基线”,进入新建基线的界面。 配置基线任务的相关参数,如表1所示。 图1 创建基线 表1 配置基线参数
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签。 在通知的“开关”列,单击,切换成时,通知为关闭状态。 图3 关闭通知 查看通知记录 用户可以在通知记录中查看所有的通知信息。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知记录”
细操作请参见作业告警通知主题。如果已配置,请忽略。 图1 配置作业告警通知主题 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“终端订阅管理”页签,单击“添加订阅”,弹出“添加订阅”页面,配置如表1所示的参数。 图2 添加订阅 表1 添加订阅参数 参数 是否必选
备份管理 通过备份功能,您可定时备份系统中的所有作业、脚本、资源和环境变量。 通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS中创建文件夹。
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
管理维度表 维度表与维度一一对应,通过丰富维度中的属性信息构建形成。维度表的生命周期(包括新建、发布、编辑、下线操作)通过维度进行管理,在维度发布成功后,系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。
数据质量运维管理操作处理&记录 功能介绍 该接口用于数据质量监控实例的问题处理,在控制台上可通过“更多>处理&记录”进入问题处理界面。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/quality/instances/{instance_id}
事前规划 任意时间 代价 高 低 来源 请参见新建数据分类 请参见管理资产标签 管理标签 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据地图 > 标签管理”。 单击“新建”,新建标签。 标签名称:只能包含中文、英文字母
开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务
配置管理 配置 管理资源 父主题: 数据开发
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。
管理中心 DataArts Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts
查询系统任务详情 功能介绍 本接口用于查询异步任务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/system-tasks/{task_id} 参数说明 表1 URI参数说明 参数名 是否必选
运维者操作 运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。