检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据开发主界面的左侧导航栏,选择“运维调度 > 基线运维”。 选择“基线实例”页签进入基线实例页面。 在基线实例的列表里面,可以查看基线实例的详细信息,包含基线名称、责任人、优先级、状态、开始时间、完成时间、基线时间等。 图1 基线实例列表 用户可以通过基线名称、责任人、优先级、承诺时间快速查询目标基线实例。系统支
报警机制 基线报警是对开启状态且打开告警开关的基线提供的一个报警提醒,用户可以基于基线的预计完成时间配置基线的预警余量和承诺时间。系统将根据监控范围内任务历史运行情况推算出的任务预计最晚完成时间,并结合基线上任务的实际运行情况进行监控,当预测到基线上任务无法在基线预警时间(基线承诺时
在数据开发主界面的左侧导航栏,选择“运维调度 > 基线运维”。 选择“基线管理”页签。 单击“新建基线”,进入新建基线的界面。 配置基线任务的相关参数,如表1所示。 图1 创建基线 表1 配置基线参数 参数 说明 基线名称 输入基线名称。 责任人 选择基线责任人。 说明: 若要增加或者删除可选择的责任人,请前往DataArts
基线运维 基线运维概述 基线运维约束限制 基线实例 基线管理 事件管理 合理配置基线承诺时间和预警余量 父主题: 运维调度
基线运维约束限制 使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求: MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果
相同,且基线未设置预警余量。 任务出现异常时,因为没有预留异常处理时间,容易造成基线破线,基线报警频繁。 场景二:当预警余量设置不合理,即基线预警时间(基线承诺时间-余量)在基线上任务最晚完成时间段内。 任务出现异常时,因为预留的异常处理时间不够,容易造成基线破线,基线报警频繁。
事件状态: 新发现:基线监控的任务产生变慢或者失败。 已恢复:超过基线任务的承诺完成时间,但基线任务最终完成。 处理中:基线运行产生的该条事件正在处理中。 已忽略:基线运行产生的该条事件已忽略。 单击“事件标识”,进入“事件详情”界面,用户可以查看事件的详细信息。 父主题: 基线运维
检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先按照表1,检查并准备相关配置。 DLI权限管理仅涉及授权dlg_agency委托,不涉及检查集群版本与权限。 使用前检查checklist 表1 使用前检查checklist
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。如果您需要API工具调用APP认证方式的API,则需要先通过JavaScript SDK包中的demo.html手动生成认证信息,再使用API工具调用。 本章节以Postma
本章节以Postman工具为例,为您介绍如何使用API工具调用无认证方式的API,主要包含如下几步: 获取API信息:准备API关键信息,用于API调用。 调用API:通过Postman工具调用API。 前提条件 已完成无认证方式的API或API工作流的发布,在服务目录中可以查看已发布的API。 本
通过API工具调用IAM认证方式的API IAM认证方式的API调用前,需要调用IAM服务的获取用户Token接口获取Token,然后通过Token进行安全认证。 本章节以Postman工具为例,为您介绍如何使用API工具调用IAM认证方式的API,主要包含如下几步: 获取API
作业失败无感知:大数据的离线作业大部分会在凌晨执行,当作业失败时,用户无法及时得知并处理。 作业补数窗口期较短:上游作业失败重跑过多导致下游核心业务执行时间超过基线,导致影响业务时发现时间太晚,无法及时执行补救措施。 为了解决这些痛点,您可以通过配置各类作业告警,及时发现调度运行问题,提高处理问题的窗口期。
况的曲线图。 基线看板 可以查看基线破线的数据。支持查看今日破线的基线实例数量。当到达基线承诺时间时,基线上任务仍处于未完成状态时,基线将处于破线状态。 可以查看基线预警的数据。支持查看今日预警的基线实例数量。当预测到基线上任务无法在基线承诺时间内完成时,将触发基线预警。 可以查
脚本添加后,可以删除,支持批量删除。 基线任务作业:从基线任务添加需要审批的作业。 选择“审批作业”页签,单击“添加”,进入“从基线添加要审批的作业”界面,选择基线任务的优先级作业,所选基线对应的作业,将被指定为需要审批的作业,单击“确定”。基线任务上游的作业也需要审批。 选择“审批脚本”页签,选择了基线对应的
使用前自检概览 当您在使用Migration服务创建实时同步任务前,需要预先检查是否做好了准备工作,以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 为云账号及权限准备 准备华为账号,创建用户并授权使用Migration。 参考注册华为账号并开通华为云。
运维调度 运维概览 作业监控 实例监控 补数据监控 基线运维 通知管理 备份管理 操作历史 父主题: 数据开发
HDFS连接 介绍 通过HDFS连接,可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件,支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":
的水平。 数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动促进各部门的数据治理工作,改进数据质量,提升数据治理水平。 图1 数据治理评分卡 父主题: 数据治理度量评估体系
作业日志打不开,可能权限不足。 解决方案 作业日志在OBS桶中存储,您需要先在工作空间中配置作业日志的桶目录,然后确认当前账户是否具有OBS读权限(可以通过检查IAM中OBS权限、OBS桶策略来确认)。 OBS路径仅支持OBS桶,不支持并行文件系统。 修改工作空间的用户账号,需要满足如下任一条件: