检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
实践案例 本实践以Spring Cloud Demo项目为例,带您体验使用AppStage的开发中心、运维中心进行工程创建、代码开发、打包发布,部署上线的全过程。具体请参考基于Spring Cloud框架进行应用上云。 父主题: 使用Spring Cloud框架实现应用开发
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
设置字段信息,其中英文名称和类型为必填参数。 数据表 - 单击“新增”,选择逻辑主体使用的数据表。 选择数据表时需要设置“将所有字段添加至逻辑主体”,如果设置为是,会同步将数据表字段添加到字段列表中;设置为否,列表显示已添加的字段,需要在“数据表字段”列选择数据表字段,将逻辑主体字段与数据表字段关联起来。 步骤二:创建指标
基于运维数仓的数据开发与应用 方案概述 数据接入 数据导流 数据汇聚 数据开发 数据应用
图2所示。单击该表所在行“操作”列的“创建聚合表”。 图2 查看Topic 配置聚合表参数,配置完成后,单击“确定”。 汇聚任务汇聚 应用平台支持多种数据类型的汇聚,具体操作请参见将数据汇聚至MPPDB表。 父主题: 基于运维数仓的数据开发与应用
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
监控服务(ServiceInsight)”。 选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。 单击“数据治理 > 数据血缘”,在数据血缘页面查看具有数据血缘、关系及数量等信息。 父主题: 开发并管理数据
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。 如需使用其他数
接入其他公有云数据 接入CES指标 接入CES告警 接入AOM告警 接入CES指标并生成业务报表 父主题: 监控资源和应用
AI原生应用引擎支持所有数据集进行数据标注吗? 进行标注的数据集必须同时满足用途为“模型训练”、任务领域为“自然语言处理”、任务子领域为“文本生成”、数据集格式为“对话文本”四个条件。 父主题: AI原生应用引擎
导流数据至数据表 监控服务已接入的数据,会保存在已创建或者系统自动创建的Kafka的Topic中,需要创建导流任务,将数据导流至ClickHouse或Influxdb数据表中。 将数据导流至ClickHouse/Influxdb表 进入AppStage运维中心。 在顶部导航栏选择服务。
开发并管理数据 创建数据表 导流数据至数据表 汇聚数据至MPPDB表 查看运维数据的数据血缘 父主题: 监控资源和应用
创建数据表 使用监控服务进行数据开发与管理时,需要先创建数据表,将接入的数据存储至数据表中。 创建MPPDB表 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。 选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。
查看系统预置的数据图表 AppStage运维中心可以实时监控应用及资源,采集各项指标及事件等数据以分析应用健康状态,提供全面、清晰、多维度数据可视化能力。 使用对应应用及资源后,可以在“实时监控”页面查看默认面板数据,默认面板展示系统为指标预置的全量数据图表。 如需查看业务指标监
或基础运维岗位人员的审批,以确保汇聚任务的创建和执行符合公司的数据管理政策和安全要求,同时审批流程也确保了汇聚任务的合理性和安全性,有助于控制资源的使用,避免资源的浪费。 汇聚任务的数量、运行时长和权限都受到一定控制,避免潜在的安全风险和资源过度使用,确保系统的稳定性和高效性。 前提条件
定义了数据的来源和数据的计算方式。MPPDB数据库用来检测过程中的数据进行存储。而异常检测服务提供了异常检测的计算调度及告警能力。所以,异常检测的前提条件是配置了相关指标,并分配了MPPDB及异常检测集群。 快速配置异常检测任务 进入AppStage运维中心。 在顶部导航栏选择服务。
返回筛选字段内容不包含输入的值列表中的任意一个的记录列表,类似于not in查询。 = 返回筛选字段内容等于输入的查询值的记录列表,即SQL的=查询。 != 返回筛选字段内容不等于输入的查询值的记录列表,即SQL的!=查询。 in 返回筛选字段内容包含输入的值列表的任意一个的记录列表,即SQL的in查询。
开启后会自动创建用于存储汇聚数据的Topic,同时需要配置汇集相关参数。 汇聚粒度 开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。 汇聚时间戳 仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。 时间戳格式
配置虚拟机异常告警 AppStage支持定义服务的监控模板,然后通过为主机绑定监控模板,采集主机监控数据,并通过模板告警功能对虚拟机监控数据配置告警,及时掌握虚拟机状态。 限制条件 绑定监控模板进行虚拟机监控,支持的主机的操作系统版本包括EulerOS 2.X、HCE、CentO