检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
接入其他公有云数据 接入CES指标 接入CES告警 接入AOM告警 接入CES指标并生成业务报表 父主题: 监控资源和应用
占用。 采集端汇聚需要额外占用内存和磁盘存储空间,用来存储汇聚后的维度和度量数据,磁盘存储占用默认限制在100MB,内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚,如图1所示。 图1 数据汇聚 开启汇聚:选择是否开启日志汇集
新增访客数计算模板 模板介绍 新增访客数计算模板是用来统计指定时间内,网站或应用程序的新增访客数。 图1 新增访客数计算模板 指标体系 表1 指标体系 指标名称 指标描述 新增访客数日新增 指每日新增访客数。 新增访客数周新增 指每周新增访客数。 新增访客数月新增 指每月新增访客数。
设置字段信息,其中英文名称和类型为必填参数。 数据表 - 单击“新增”,选择逻辑主体使用的数据表。 选择数据表时需要设置“将所有字段添加至逻辑主体”,如果设置为是,会同步将数据表字段添加到字段列表中;设置为否,列表显示已添加的字段,需要在“数据表字段”列选择数据表字段,将逻辑主体字段与数据表字段关联起来。
独立访客数(UV)计算模板 模板介绍 独立访客数(UV)计算模板是用来统计指定时间内,访问某个应用或页面的不同用户数量。每个用户只计算一次,无论他在这段时间内访问了多少次。 图1 独立访客数(UV)计算模板 指标体系 表1 指标体系 指标名称 指标描述 独立访客数月活 指在一个月
注册用户数计算模板 模板介绍 注册用户数计算模板是用来统计指定时间内,一个网站或应用程序的注册用户数量。 图1 注册用户数计算模板 指标体系 表1 指标体系 指标名称 指标描述 注册用户数日新增 指在一天内注册的新用户数量。这个指标可以用来跟踪一天内注册用户的数量,以及比较不同日期的注册用户数。
页面浏览量(PV)计算模板 模板介绍 页面浏览量(PV)计算模板是用来统计指定的时间段内,某个网站或应用的页面被访问过的数量。 图1 页面浏览量(PV)计算模板 指标体系 表1 指标体系 指标名称 指标描述 页面浏览量日活 指在一天内访问某个网站或应用的页面浏览次数,每个用户每次访问都会被计算在内。
监控服务(ServiceInsight)”。 选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。 单击“数据治理 > 数据血缘”,在数据血缘页面查看具有数据血缘、关系及数量等信息。 父主题: 开发并管理数据
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
导流数据至数据表 监控服务已接入的数据,会保存在已创建或者系统自动创建的Kafka的Topic中,需要创建导流任务,将数据导流至ClickHouse或Influxdb数据表中。 将数据导流至ClickHouse/Influxdb表 进入AppStage运维中心。 在顶部导航栏选择服务。
<=50M,txt文件仅支持UTF-8编码。 数据接入 数据来源 选择数据集的数据来源。支持以下两种来源: 本地上传:数据文件在本地,从本地选择文件进行上传。 OBS接入:数据文件存放在华为云OBS桶,从OBS桶接入数据。 仅支持使用区域位置为北京四的OBS桶接入数据。 本地上传 当“数据来源”选择“本地上传”时,需配置此参数。
产品运营人员能直观查看关键数据,分析产品运营过程中取得的成效和潜在问题。 数据模型 运营中心提供数据建模能力,运营人员可以新建实时数据模型和离线数据模型,也可以通过逆向数据库生成数据模型。通过提供多表关联建模整合表能力,一个数据模型可以映射多个数据表数据。 指标管理 运营中心提供
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。 如需使用其他数
接入AOM告警 应用运维管理AOM是云上应用的一站式立体化运维管理平台,实时监控应用及云资源,采集各项指标、日志及事件等数据分析应用健康状态,提供告警及数据可视化功能,帮助用户及时发现故障,全面掌握应用、资源及业务的实时运行状况。 AppStage运维中心支持将AOM产生的告警接入至监控服务中。
选择“资源配置标签”页签。 设置资源搜索条件,单击“搜索”。 勾选待添加标签的云资源,单击列表上方的“管理标签”,进入管理标签页面。 在“添加标签”区域,输入标签的键和值,然后单击“确定”。 父主题: 接入其他公有云数据
对微调数据集进行数据标注 数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。 约束与限制 只有格式为“对话文本”的微调数据集才可进行标注。
控指标。 补数据:如果发现实例的指标数据出现漏采的情况,可以使用补数据功能将漏采的指标数据重新采集。因为CES的指标只能保留2天,所以支持采集近2天内的数据。 查看系统预置模板:初始化数据时,会根据账号下已有的数据库资源,生成对应的系统预置模板,并按照这些模板采集数据库监控指标,
按月:表示统计上月数据,数据存到上月1号。 近1天:表示统计前1天的数据,不包含当天,数据存到当天。 近3天:表示统计前3天的数据,不包含当天,数据存到当天。 近7天:表示统计前7天的数据,不包含当天,数据存到当天。 近10天:表示统计前10天的数据,不包含当天,数据存到当天。 近15天:
异常检测基于运维领域的数据的历史特征,对其未来的走向进行预测。一旦当前实际数据和预测值偏差到一定程度,则认为发生异常,会生成告警并上报至告警系统。 异常检测的能力是基于指标仓库、MPPDB数据库及异常检测服务所构建的。指标仓库定义了数据的来源和数据的计算方式。MPPDB数据库用来检测过程