检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通知管理 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。 运行时间 采集任务的运行时间。 操作 对被纳入监控的采集任务可进行如下操作: 重跑:实例状态为失败和成功状态的实例,支持重跑。 日志:查看实例日志。
展示用户Flink作业的数据输入速率,供监控和调试使用 ≥ record/s 实时处理集成作业 1分钟 作业数据输出速率 展示用户Flink作业的数据输出速率,供监控和调试使用 ≥ record/s 实时处理集成作业 1分钟 作业数据输入总数 展示用户Flink作业的数据输入总数,供监控和调试使用 ≥ records
实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”和“作业标签”等维度搜索实例。其中按照“CDM作业”搜索,是从节点的维度搜索,搜索包含该节点的作业实例列表。同时,支持通过“运行状态”和“调度方式”进行筛选作业实例。 作业实例操作 参考访问DataArts
请参见实时集成作业监控:查看作业详细信息。 实时集成作业监控:启动 单击“启动”,弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时,会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”,启动该任务。
Studio提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts
再次启动或恢复后,即可正常查看。 CDM集群已正常运行一段时间(约10分钟)。 对于新创建的集群,需要等待一段时间,才能查看上报的监控数据和监控视图。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 在CDM监控页面,可查看所有监控指标的小图。
业务指标监控简介 当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调
质量作业和对账作业有什么区别? 可能原因 质量作业和对账作业的区别不清楚,需要说明下。 解决方案 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 数据对账对于数据开发和数据迁移流程中的
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题: 数据质量
在弹出窗口中配置如下参数,然后单击“确定”。 图2 配置逻辑模型 表1 参数描述 参数名称 说明 *模型名称 只能包含中文、英文字母、数字和下划线。 前缀校验 只能包含英文字母、数字和下划线,且英文字母开头。 说明: 模型校验前缀:针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇
选中已创建的L1层主题“城市交通”。单击右键,选择“新建”。或者单击右侧的“新建”按钮。 图7 创建L2层主题 在弹出窗口中,“名称”和“编码”请参照表1中的“主题域名称”和“主题域编码”进行填写,其他参数可根据实际情况进行填写,配置完成后单击“确定”完成主题域的新建。 主题域创建完成后,您需
典型的维度模型有星形模型,以及在一些特殊场景下使用的雪花模型。 在DataArts Studio数据架构中,维度建模是以维度建模理论为基础,构建总线矩阵、抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,构建出汇总模型。 数据集市 又称为DM(Data Mart),DM面向展现层,
约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_
Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。 查看质量作业 在DataArts Stud
业务指标监控(待下线) 业务指标监控简介 新建指标 新建规则 新建业务场景 查看业务场景实例 父主题: 数据质量
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
Studio数据连接参数。 数据库 选择数据库。 队列 仅限DLI连接类型,需选择DLI队列。 Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 更新已有表 在导入时,如果所要导入的表在关系模型中已存在,是否更新已有的表。在导入时,系统将按表编码进行
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示,日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成,字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
图1 新建规则的归属目录 表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建规则 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控