检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置CDM告警规则 操作场景 通过设置CDM集群告警规则,用户可自定义监控目标与通知策略,及时了解CDM集群运行状况,从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。
本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。 如果您需要查看CDM相关的监控指标,请参见查看CDM监控指标。 如果您需要在监控数据满足指定条件时发送报警通知,可参见设置CDM告警规则。 前提条件 使用CDM监控功能,需获取CES相关权限。 命名空间 SYS
在详情页面,选择“监控信息”,单击“创建告警规则”,进入云监控服务的创建告警规则界面,创建该作业的告警规则。 图1 创建告警规则 设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南云监控用户指南《云监控用户指南》。 父主题: 实时集成任务运维
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
新建规则 管理所有业务规则,规则定义了指标间或者指标和数值间的关系,使用目录维护业务规则。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。
变现,实现数字化转型。 DataArts Studio使用流程简介 使用DataArts Studio平台,通常包括以下步骤: 表1 DataArts Studio全流程开发 主流程 说明 子任务 操作指导 流程设计 在使用DataArts Studio前,建议您通过流程设计提前
规范化的数据如何使用? 问题描述 规范化的数据使用场景需要说明下。 解决方案 规范化的数据可以作为BI的基本信息,也可以作为上层应用的源数据,也可以接入各类数据可视化报表等。 父主题: 数据架构
DataArts Studio提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。
新建数据质量规则 数据质量支持对离线数据的监控,质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计34种,分为库级规则、表级规则、字段级规则和跨字段级规则、跨源级规则等规则类型,如表1所示。 表1 系统内置的规则模板一览表 规则类型 维度 模板名称 适用引擎
此时,系统将弹出“添加规则”对话框,在规则列表中将显示DataArts Studio数据质量中默认的质量规则,选中所需要的规则,然后单击“确定”。如果列表中的规则不满足业务需求,您也可以创建自定义规则,单击“新建规则”可以跳转到DataArts Studio数据质量页面,请参考新建数据质量规则新建规则。 图4 添加规则
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
清空质量规则 功能介绍 清空表的质量规则。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/{table_id}/qualities 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
1_1}!=${2_1},表示当左侧表行数与右侧表行数不一致时,触发报警并显示报警状态。 单击“下一步”,配置订阅信息,如下图所示。 勾选触发告警表示作业报警时发送通知到对应的smn主题,勾选运行成功表示不报警时发送通知到SMN主题。 单击“下一步”,配置调度方式,如下图所示。
批量删除规则模板 功能介绍 批量删除规则模板。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/rule-templates/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
相关操作 编辑识别规则:在识别规则页面,单击对应识别规则操作栏中的“编辑”,即可修改识别规则关联的密级、分类和描述。如果为自定义规则,还支持修改识别规则和正则表达式。 编辑识别规则状态:新增的识别规则默认为启用状态。当识别规则为关闭状态时,表示该规则将不可被添加到识别规则组。 需要修改
onsistency表示一致性。 type String 规则类型,Field表示字段级规则,Table表示表级规则,Database表示库级规则,Cross-field表示跨字段级规则,Customize表示自定义规则。 system_template Boolean 是否为系统模板。
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某
onsistency表示一致性。 type String 规则类型,Field表示字段级规则,Table表示表级规则,Database表示库级规则,Cross-field表示跨字段级规则,Customize表示自定义规则。 system_template Boolean 是否为系统模板。
组合识别规则测试 功能介绍 组合识别规则测试 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/check 表1 路径参数 参数 是否必选 参数类型 描述 project_id