检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在AI原生应用引擎的左侧导航栏选择“知识中心 > 微调数据集”。 在“微调数据集”页面,单击右上角“创建数据标注”。 在“创建数据标注”对话框,选择微调数据集、数据集版本,填写标注名称。 单击“确定”。新创建的标注数据集显示在列表中,继续执行标注数据集。 标注数据集 在“数据标注”列表中,单击“操作”列“标注”。
设置字段信息,其中英文名称和类型为必填参数。 数据表 - 单击“新增”,选择逻辑主体使用的数据表。 选择数据表时需要设置“将所有字段添加至逻辑主体”,如果设置为是,会同步将数据表字段添加到字段列表中;设置为否,列表显示已添加的字段,需要在“数据表字段”列选择数据表字段,将逻辑主体字段与数据表字段关联起来。 步骤二:创建指标
数据应用 使用报表对业务进行实时监控 通过日志检索进行问题定位 通过异常检测上报告警 配置虚拟机异常告警 父主题: 基于运维数仓的数据开发与应用
PreprocessConfig object 数据集预处理配置,data_type为IMAGE时不传。 ingestion_config 是 IngestionConfig object 数据集数据接入配置。 chunk_config 否 ChunkConfig object 数据集切分配置,data_type不为TEXT不传。
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。 开启数据采集后,系统
优化算法在完整训练数据集上的工作轮数。 learning_rate 学习率 学习率是每一次迭代中梯度向损失函数最优解移动的步长。 weight_decay 权重衰减因子 对模型参数进行正则化的一种因子,可以缓解模型过拟合现象。 warmup_ratio 学习率热启动比例 学习率热启动参数
数据导流 接入的日志数据存在于对应的Topic中,需要创建导流任务,将数据存储在对应的数据库中进行管理和后续开发。 创建导流任务 以ClickHouse数据库为例,介绍如何创建导流任务将数据存储在ClickHouse数据库,创建前需要先新建ClickHouse表。 如需使用其他数
检索返回字段:检索返回相应的切片片段。 单击“创建数据集和索引配置”,创建的数据集和索引配置显示在“知识数据集”页面的数据集列表中。 更多操作 创建数据集完成后,可根据需要执行如表3所示的操作。 表3 更多操作 操作 步骤 查看数据集详情 在数据集列表中单击数据集名称,在知识数据集详情页面查看数据概况、索引配置、调度历史以及溯源。
数据接入 虚拟机日志接入 容器日志接入 父主题: 基于运维数仓的数据开发与应用
使用ClickHouse数据管理时,可以通过ClickHouse汇聚表完成数据汇聚。 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 监控服务(ServiceInsight)”。 选择左侧导航栏的“运维数据开发 > 数据开发”,进入“数据开发”页面。 单击“数据管理 >
-nl2sql”。 数据配置 数据集 在下拉列表中选择步骤一:创建微调数据集创建的“智能分析数据集”。 数据集版本 在下拉列表中选择数据集版本。 训练数据比例 填写训练数据比例,如果填为0,则任务不执行训练阶段。 训练数据比例是指用于训练模型的数据在完整数据集中所占的比例。 在实
开发并管理数据 在监控服务创建数据表 将接入数据导流至数据表中 将数据汇聚至MPPDB表 根据表或任务类型查看数据血缘 父主题: 使用监控服务进行资源及业务监控
在WiseDBA中采集数据库元数据 数据采集功能用于定期采集数据库元数据,如数据库名、表名、数据量、占用空间等,采集到的元数据保存到WiseDBA中,便于用户在实时诊断功能中查看数据库空间使用情况。 使用须知 RDS for PostgreSQL数据库不支持数据采集。 开启数据采集后,系统
数据概况、调度历史,并支持对数据集进行溯源。 修改数据集 在“微调数据集”页面选择“我创建的”页签。 在数据集列表勾选数据集并单击“操作”列的“修改”。 在“修改数据集”页面,仅支持修改数据集描述、修改标签名称。 删除数据集 单个删除数据集: 在“我的数据集”页面选择“我创建的”页签。
接入运营数据 在运营中心新建数据源 新建数据接入将源端数据迁移到运营中心
说明 启用数据接入 在指定数据接入名称操作列,单击“启用”,可以启用数据接入。 停用数据接入 在指定数据接入名称操作列,单击“停用”,可以停用数据接入。 预览数据接入 在指定数据接入名称操作列,单击“预览数据”,在“表数据”页签可以预览数据接入。 运行日志 在指定数据接入名称操作列,单击“更多
将接入数据导流至数据表中 监控服务已接入的数据,会保存在已创建或者系统自动创建的Kafka的Topic中,需要创建导流任务,将数据导流至ClickHouse或Influxdb数据表中。 将数据导流至ClickHouse/Influxdb表 进入AppStage运维中心。 在顶部导航栏选择服务。
分 超过阈值线3,则数据异常。 图1 固定阈值 动态阈值会通过训练历史数据,实现对数据特征的学习,构建数据的模型。并利用模型来预测数据的趋势走向。如图2黄色部分,实际值和预测值相差过大,认为异常。 图2 动态阈值 异常检测的能力是基于指标仓库,MPPDB数据库及异常检测服务所构建
模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。
将数据汇聚至MPPDB表 数据汇聚是将MPPDB、 InfluxDB和ClickHouse数据源中的数据按需整合并进行分析处理。允许用户创建汇聚任务,以实现对采集指标的汇聚处理,从而使得数据能够在一个或多个MPPDB数据库中被统一管理、存储和分析。创建汇聚任务后,需要经过运维管理