检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。
采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认限制在100MB,内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚,如图1所示。
类型 根据选择创建的视图类型显示,持久化视图为PERSISTENT,长期存储视图为LONG_TERM。 任务类型 根据视图数据来源显示,不可修改。 调度集群 选择定时调度集群。 执行集群 选择执行汇聚的执行集群。
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
图2 查看存储空间 是否从头消费:选择“是”,系统将会读取Topic中的历史数据;选择“否”,从当前创建任务时间点的数据开始读取。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
参数枚举值在数据源管理页面配置。 数据表 数据表是一种数据结构,用于存储和管理数据。它由行和列组成,每一行表示一条记录,每一列表示一个属性。 说明: 数据表中不能包含pt_d字段,且需要包含时间格式的字段。 表4 任务配置 参数 说明 任务类型 指定配置的任务类型。
对微调数据集进行数据标注 数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。
在节点信息区域,查看数据库实例的节点信息,包括节点名、所属AZ、物理节点IP信息等。 单击操作列的“查看节点监控”,跳转到实时诊断页面,具体请参见在WiseDBA中诊断数据库。 父主题: 在WiseDBA中纳管和管理数据库实例
开发并管理数据 在监控服务创建数据表 将接入数据导流至数据表中 将数据汇聚至MPPDB表 根据表或任务类型查看数据血缘 父主题: 使用监控服务进行资源及业务监控
需具备充足的知识库容量包资源(包含OBS存储配额和向量库存储配额,两者比例为5:1),每个租户默认具备5G的OBS存储配额,默认配额用完后,请参考购买AppStage购买知识库容量包。
数据连接器 数据连接器是工作流的基础节点之一,包含“json解析”和“cdm解析”两个执行动作。 数据解析连接器用于解析接收到的一个对象或者数组,以获取到用户想要的数据。 json解析 输入参数 json解析执行动作,输入参数说明如表1所示。
Schema名 选择数据库。 保存时长(天) 设置数据保存时长,默认为7天,可以适当减少,不建议超过该值。若要永久存储,可以开启永久存储按钮。 分区粒度(day) 默认按天(DAY)进行分区,即每天的数据都会被单独存储和查询。 类型 选择数据表类型。
通过看板查看运营数据 产品运营人员能直观查看关键数据,分析产品运营过程中取得的成效和潜在问题。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。 操作步骤 登录AppStage业务控制台。 在快捷入口选择“运营中心”,进入运营中心。
检索知识库数据 功能介绍 检索知识库数据,根据用户提供的检索信息,返回命中的信息数据。
将数据汇聚至MPPDB表 数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务,以实现对采集指标的汇聚处理,从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。
单击数据集列表操作列的“取消收藏”,可以取消收藏。 单击数据集列表中的数据集名称,可以便捷地查看数据集详情,包括基本信息、调度信息及版本记录。 父主题: 基于微调数据集进行模型微调
创建知识数据集 功能介绍 创建知识数据集 URI POST /v1/knowledge-datasets 表1 Query参数 参数 是否必选 参数类型 描述 data_set 是 String 创建知识数据集请求体,参数结构请参见“附录 > 知识数据集请求参数说明” file 否