检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。 单击“数据治理 > 数据血缘”,在数据血缘页面查看具有数据血缘、关系及数量等信息。 父主题: 开发并管理数据
图2 查看存储空间 是否从头消费:选择“是”,系统将会读取Topic中的历史数据;选择“否”,从当前创建任务时间点的数据开始读取。
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。
参数枚举值在数据源管理页面配置。 数据表 数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。 说明: 数据表中不能包含pt_d字段,且需要包含时间格式的字段。 表4 任务配置 参数 说明 任务类型 指定配置的任务类型。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
Schema名 选择数据库。 保存时长(天) 设置数据保存时长,默认为7天,可以适当减少,不建议超过该值。若要永久存储,可以开启永久存储按钮。 分区粒度(day) 默认按天(DAY)进行分区,即每天的数据都会被单独存储和查询。 类型 选择数据表类型。
采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认限制在100MB,内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚,如图1所示。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
在WiseDBA中扩容数据库实例磁盘 实例在使用过程中,随着业务数据的变化,最初申请的存储容量可能会和实际使用量存在偏差,通过扩容磁盘功能,可以变更存储空间,以满足您的业务需求。 使用须知 扩容磁盘预计耗时<30s,程序原则上不会产生中断。
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
汇聚数据至MPPDB表 数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务,以实现对采集指标的汇聚处理,从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。
类型 根据选择创建的视图类型显示,持久化视图为PERSISTENT,长期存储视图为LONG_TERM。 任务类型 根据视图数据来源显示,不可修改。 调度集群 选择定时调度集群。 执行集群 选择执行汇聚的执行集群。
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
开发并管理数据 创建数据表 导流数据至数据表 汇聚数据至MPPDB表 查看运维数据的数据血缘 父主题: 监控资源和应用
创建数据标注 在AI原生应用引擎的左侧导航栏选择“知识中心 > 微调数据集”。 在“微调数据集”页面,单击右上角“创建数据标注”。 在“创建数据标注”对话框,选择微调数据集、数据集版本,填写标注名称。 单击“确定”。新创建的标注数据集显示在列表中,继续执行标注数据集。
在WiseDBA中采集数据库元数据 在WiseDBA中诊断数据库 父主题: 管理已纳管资源
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 鼠标移动到指定桶所在行,在弹出的基本信息中,“Endpoint”参数值即为OBS终端节点。 端口号 必填。用来标识一个网络设备上的应用程序或服务,以便其他设备可以通过端口号来访问这个应用程序或服务。