检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
索的知识型Agent,如搜索问答助手、代码生成助手等,执行主体在大模型;另一种是针对复杂工作流场景的流程型Agent,如金融分析助手、网络检测助手等。 知识型Agent:以大模型为任务执行核心,用户通过配置Prompt、知识库等信息,实现工具自主规划与调用,优点是可零码开发,对话
系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内网URL,且需要通过相关的服务的启动配置项关闭内网屏蔽。 请求方法 插件服务的请求方式,POST或GET。 鉴权校验 插件服务的鉴权方式,支持以下三种: 无需鉴权:不使用鉴权时会存在安全风险。
-N-2.1.0 该模型属于物体检测模型,旨在识别图像中的所有感兴趣目标,定位其位置并确定其类别。适用于各种任务,如:积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。 2024年12月发布的版本,支持全量微调、在线推理。 物体检测-N模型为中参数量模型,在保证计
文件总大小不超过100GB,示例如下所示: 异常检测 图片+txt 文件存放方式要求满足异常检测格式,即标注文件和图片存于同一文件夹,正常和异常分文件夹创建。 图片支持jpg、jpeg、png、bmp格式,标注文件为txt格式,标注文件说明请参见异常检测数据集标注文件说明。 文件总大小不超过100GB,示例如下所示:
支持mp4、avi视频格式上传,所有视频可以放在多个文件夹下,每个文件夹下可以同时包含mp4或avi格式的视频。 单个视频不超过100G,文件总大小不超过100PB。 事件检测 视频+json 数据源样本为avi、mp4格式,标注文件为json格式。必须包含两个及以上后缀名字为avi或者mp4的文件。 每个视频时
、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工程工具链还提供强大的数据存储和管理能力,为大模型训练提供高质量的数据支撑。
自定义正则过滤 删除符合自定义正则表达式的数据。 自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 文本长度过滤 按照设置的文本长度,保留长度范围内的数据进行。 冗余信息过滤 按照段落粒度,删除文本中的冗余信息,不改变数据条目。
集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景 文件内容 文件格式 盘古-CV-物体检测-N 微调 图片+检测标注 图片+xml 训练CV大模型所需数据量 初期启动训练时,每种模型类别先提供1000张已标注的图片数据进行训练,后续根据验证结果再动态提供数据迭代。
致不稳定的学习过程。 锚框的长边和短边的比例 定义检测物体锚框的长宽比。通过设置不同的长短比例,模型可以更好地适应多种尺寸和形状的物体。 锚框大小 指锚框的初始尺寸。锚框是物体检测中的一个关键概念,通过合理设置,可以帮助模型检测出多种尺寸的目标。 框重叠比例阈值 用于判定模型预测
有图片需保存为tar包。 QA对格式支持:jsonl 物体检测 图片格式支持:jpg、jpeg、png、bmp 标注格式支持:xml 图像分类 图片格式支持:jpg、jpeg、png、bmp 标注格式支持:txt 异常检测 图片格式支持:jpg、jpeg、png、bmp 标注格式支持:txt
精准率 精准率是指在模型预测为正类的样本中,真正类样本的比例。数值越高,表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中,被模型正确预测为正类的比例。数值越高,表明模型在检测正类样本时的全面性越高。 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。
包年/包月计费模式:包年/包月的计费模式是一种预付费方式,按订单的购买周期计费,适用于可预估资源使用周期的场景。 按需计费模式:按需付费是后付费方式,可以随时开通/关闭对应资源,支持秒级计费,系统会根据云服务器的实际使用情况每小时出账单,并从账户余额里扣款。 父主题: 计费FAQ
表1 预测大模型与数据集类型对应关系 基模型 模型分类 数据集内容 文件格式 预测大模型 时序预测模型 时序数据 csv 回归模型 异常检测模型 分类模型 回归分类数据 csv 训练预测大模型所需数据量 训练预测大模型时,所需的数据通常为表格格式,即由行和列组成的扁平化数据。具体要求如下:
Pangu-Predict-Table-Anom-2.0.0 该模型属于异常检测模型,用于识别数据集中的异常或离群点,常应用于安全、质量控制等领域。 矿山行业:进行设备故障检测,例如监控设备运行数据,识别异常行为,防止设备故障。 电力行业:进行电网异常检测,例如监控电网运行状态,识别异常情况,防止电网故障。
标注分配 启用多人标注 关闭时,默认管理员单人标注。 启用时,可以指定参与标注的人员及标注数量。 标注审核 是否审核 否,标注后不进行审核操作。 是,审核员会检查标注员的标注内容,若发现问题,审核员可注明原因并驳回标注数据,标注员需重新标注。 启用多人审核 关闭时,默认管理员单人审核
单击“下一步”,可查看效果预览。 单击“下一步”,参考表1配置标注分配与审核。 表1 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 启用多人标注 关闭时,默认管理员单人标注。 启用时,可以指定参与标注的人员及标注数量。 标注要求 选择标注项为“图片Caption”且开启AI预标注功能时,可设置以下两种方式的“标注要求”:
将数据集划分为训练集和验证集。填写验证集的比例(默认为 0.2,即训练集占0.8,验证集占0.2)。可选比例包括0.1、0.2、0.3、0.4。 基模型算法池 对于异常检测模型:从预定义的算法池中选择用于训练模型的算法,算法包括:["knn", "iforest", "loda", "oc"],其中: knn表示k最近邻算法。
精准率 精准率是指在模型预测为正类的样本中,真正类样本的比例。数值越高,表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中,被模型正确预测为正类的比例。数值越高,表明模型在检测正类样本时的全面性越高。 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。
选择预训练所需的基础模型,可从“已发布模型”或“未发布模型”中进行选择。 高级设置 checkpoints:在模型训练过程中,用于保存模型权重和状态的机制。 关闭:关闭后不保存checkpoints,无法基于checkpoints执行续训操作。 自动:自动保存训练过程中的所有checkpoints。 自
、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工程工具链还提供强大的数据存储和管理能力,为大模型训练提供高质量的数据支撑。