检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。
采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认限制在100MB,内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚,如图1所示。
类型 根据选择创建的视图类型显示,持久化视图为PERSISTENT,长期存储视图为LONG_TERM。 任务类型 根据视图数据来源显示,不可修改。 调度集群 选择定时调度集群。 执行集群 选择执行汇聚的执行集群。
数据表 数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。 仅当“数据源类型”为“MySql数据源”时,该参数为必填参数。 说明: 数据表中必须包含pt_d和pt_t字段。
图2 查看存储空间 是否从头消费:选择“是”,系统将会读取Topic中的历史数据;选择“否”,从当前创建任务时间点的数据开始读取。
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
数据表管理 运营中心提供数据表接入能力,通过将固定不变的静态数据存储在平台中,并在需要时直接调用,而不需要实时从外部数据源获取。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请操作请参见权限管理。 已完成数据收集。
登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 鼠标移动到指定桶所在行,在弹出的基本信息中,“Endpoint”参数值即为OBS终端节点。 端口号 必填。用来标识一个网络设备上的应用程序或服务,以便其他设备可以通过端口号来访问这个应用程序或服务。
在数据分析系统中显示的模型名称,通常是一个更易于理解和识别的字符串。 数据表 必填。数据表用于存储和管理数据。 该参数值来源于“通用数据接入”页面配置的数据名称。 配置完成后,单击“确认”。 配置数据模型基础信息。
在节点信息区域,查看数据库实例的节点信息,包括节点名、所属AZ、物理节点IP信息等。 单击操作列的“查看节点监控”,跳转到实时诊断页面,具体请参见在WiseDBA中诊断数据库。 父主题: 在WiseDBA中纳管和管理数据库实例
仅当“数据源类型”为“OBS数据源”时,该参数为必填参数。 JSON:表示扩展名为.json的文件。 CSV:表示扩展名为.csv的文件。 说明: CSV文件支持UTF-8格式。 CSV文件不能包含pt_d字段。 数据表 数据表是一种数据结构,用于存储和管理数据。
Schema名 选择数据库。 保存时长(天) 设置数据保存时长,默认为7天,可以适当减少,不建议超过该值。若要永久存储,可以开启永久存储按钮。 分区粒度(day) 默认按天(DAY)进行分区,即每天的数据都会被单独存储和查询。 类型 选择数据表类型。
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
数据管理 数据表管理 数据源管理 通用数据接入 父主题: 运营中心(即将下线)
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
对微调数据集进行数据标注 数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。
将数据汇聚至MPPDB表 数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务,以实现对采集指标的汇聚处理,从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。