检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。
采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认限制在100MB,内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚,如图1所示。
类型 根据选择创建的视图类型显示,持久化视图为PERSISTENT,长期存储视图为LONG_TERM。 任务类型 根据视图数据来源显示,不可修改。 调度集群 选择定时调度集群。 执行集群 选择执行汇聚的执行集群。
图2 查看存储空间 是否从头消费:选择“是”,系统将会读取Topic中的历史数据;选择“否”,从当前创建任务时间点的数据开始读取。
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
参数枚举值在数据源管理页面配置。 数据表 数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。 说明: 数据表中不能包含pt_d字段,且需要包含时间格式的字段。 表4 任务配置 参数 说明 任务类型 指定配置的任务类型。
Schema名 选择数据库。 保存时长(天) 设置数据保存时长,默认为7天,可以适当减少,不建议超过该值。若要永久存储,可以开启永久存储按钮。 分区粒度(day) 默认按天(DAY)进行分区,即每天的数据都会被单独存储和查询。 类型 选择数据表类型。
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
将数据汇聚至MPPDB表 数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务,以实现对采集指标的汇聚处理,从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。
登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 鼠标移动到指定桶所在行,在弹出的基本信息中,“Endpoint”参数值即为OBS终端节点。 端口号 必填。用来标识一个网络设备上的应用程序或服务,以便其他设备可以通过端口号来访问这个应用程序或服务。
对微调数据集进行数据标注 数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。
开发并管理数据 在监控服务创建数据表 将接入数据导流至数据表中 将数据汇聚至MPPDB表 根据表或任务类型查看数据血缘 父主题: 使用监控服务进行资源及业务监控
在WiseDBA中扩容数据库实例磁盘 实例在使用过程中,随着业务数据的变化,最初申请的存储容量可能会和实际使用量存在偏差,通过扩容磁盘功能,可以变更存储空间,以满足您的业务需求。 使用须知 扩容磁盘预计耗时<30s,程序原则上不会产生中断。
检索知识库数据 功能介绍 检索知识库数据,根据用户提供的检索信息,返回命中的信息数据。
通过看板查看运营数据 产品运营人员能直观查看关键数据,分析产品运营过程中取得的成效和潜在问题。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。 操作步骤 登录AppStage业务控制台。 在快捷入口选择“运营中心”,进入运营中心。
在数据分析系统中显示的模型名称,通常是一个更易于理解和识别的字符串。 数据表 必填。数据表用于存储和管理数据。 该参数值来源于“通用数据接入”页面配置的数据名称。 配置完成后,单击“确认”。 配置数据模型基础信息。