检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置实时处理集成作业告警规则 操作场景 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
实例监控 作业每次运行，都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏，选择 “运维调度”，进入实例监控列表页面，用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”
在作业目录中选择需要的作业，右键单击作业名称，选择“前往监控”，进入作业监控界面。 图1 前往监控 在监控界面，可以查看该作业节点的日志信息、版本信息、对该作业执行调度、单击编辑或者作业名称进行作业开发界面修改作业信息等。 图2 作业监控界面 父主题： （可选）管理作业
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。
监控安全风险 DataArts Studio提供基于云监控服务CES的资源监控能力，帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群，执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。
作业监控 批作业监控 实时作业监控 实时集成作业监控 父主题： 运维调度
质量作业运行结果 监控业务指标 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控，可以先自定义SQL指标，然后通过指标的逻辑表达式定义规则，最后新建并调度运行业务场景。通过业务场景的运行结果，可以判断业务指标是否满足质量规则。本例通过监控出租车一天的运营收入
计算数据表的单表大小、字段分组、相关波动率近一天的规则波动监控。 近7天波动率 计算数据表的单表大小、字段分组、相关波动率近七天的规则波动监控。 近30天波动率 计算数据表的单表大小、字段分组、相关波动率近三十天的规则波动监控。 字段级 唯一性 字段唯一值 DLI、DWS、HIVE
查看任务监控 监控元数据采集任务运行情况，查看采集日志，支持重跑采集任务。 在数据目录页面，选择“元数据采集 > 任务监控”。在任务监控页面，对采集任务进行监控，参考表1。 表1 监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例（即采集任务）的状态。 成功 部分成功
针对表中的具体字段配置监控规则。 说明： 选择跨字段级规则时，需要在计算范围中同时配置数据表和参考表。 跨源级规则目前只支持基于Hetu连接的MRS Hive和DWS之间的字段对比作业。 配置跨源级规则前，需要在MRS Hetu中创建MRS Hive数据源和GUASSDB数据源。
在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签，单击作业名称。 在详情页面，选择“监控信息”，单击“查看监控指标”，跳转至云服务监控详情页面，可查看所有监控指标。 更多关于监控指标的信息，请参见云监控用户指南。 父主题： 管理并查看监控指标
业务指标监控简介 当前，数据架构有完善的指标设计和管理能力，建议您后续使用数据架构的业务指标功能，数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控，您可以先自定义SQL指标，然后通过指标的逻辑表达式定义规则，最后新建并调
本章节描述了实时处理集成作业云监控的监控指标的命名空间、监控指标列表和维度定义。 如果您需要查看实时处理集成作业相关的监控指标，请参见查看实时处理集成作业监控指标。 如果您需要在监控数据满足指定条件时发送报警通知，可参见设置实时处理集成作业告警规则。 前提条件 使用实时处理集成作业监控功能，需获取CES相关权限。
约束与限制 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下： CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。
数据。最近一个月新增的数据量是60TB。 使用CDM将CDH集群中的HBase HFile抽取出来存入到MRS（MapReduce） HDFS中，再通过HBase修复命令重建HBase表。基于这种迁移方案，可以使用以下2种迁移方式同时进行： CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据：
定义关系 关系是定义指标和数值间或者指标和指标间的逻辑表达式，可以包含算术运算。指标使用小写字母a-z代替它的缩写，按添加指标的顺序依次为a,b,c,...。 说明： 只支持一个合法逻辑表达式，支持简单的四则算术运算。 父主题： 业务指标监控（待下线）
获取API授权应用的AppKey和AppSecret（如已授权多个APP，获取其中一个APP信息即可）。 在左侧导航栏中进入应用管理，找到API授权的应用，并单击应用名称查看APP的完整信息，保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取
展示实例通知状态，包含成功、失败和未触发。 操作人 展示实例的操作人。 创建时间 展示实例的创建时间。 开始时间 展示实例开始运行的时间。开始时间支持按照升序和降序进行排序。 运行时间 展示实例的运行时长。 结束时间 展示实例结束运行的时间。结束时间支持按照升序和降序进行排序。 处理人 展示实例的处理人。
的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 创建作业 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 （可选）选择“数据质量监控 > 对账作业”，新建目
> 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景，需要选择业务场景归属目录，请参见图1创建归属目录。 图1 新建业务场景的归属目录 表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部，单击右键，可新建目录、重命名目录和删除目录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
