检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
PromptTemplate; import org.junit.jupiter.api.Assertions; import java.util.HashMap; // 初始化Prompt模板对象 PromptTemplate promptTemplate = new PromptTemplate("Tell
提示词比较支持选择两个候选提示词对其文本和参数进行比较,支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理,支持评估任务的创建、查询、修改、删除。支持创建评估任务,选择候选提示词和需要使用的变量数据集,设置评估算法,执行任务自动化对候选提示词生成结果和结果评估。 提示词管理
进入训练数据集页面后,需要进行训练配置、数据配置和基本配置。 训练配置 选择模型类型、训练类型以及基础模型。 数据配置 选择训练数据集和配比类型,设置训练数据集配比,详情请参考数据配比功能介绍。 在训练数据集配比完成后,在单击“创建”或后续修改保存时,会对数据集的有效数据进行统计,确保满足模型训练的要求。
sdk.api.annotation.AgentTool; import com.huaweicloud.pangu.dev.sdk.api.annotation.AgentToolParam; import com.huaweicloud.pangu.dev.sdk.api.tool
skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs skill = ConversationSkill(LLMs.of("pangu"))
the open api call plugin_schema={} openapi_schema={}", toolMetadata.get("plugin_schema"), toolMetadata.get("openapi_schema"));
准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。 图1 体验搜索增强能力
huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template.KV; import com.huaweicloud.pangu.dev.sdk.api.skill.base.SimpleSkill;
式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback 事件流回调 */ void setStreamCal
在清洗数据时,用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板,用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。 图1
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
量差,或学习率设置过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或减小学习率来解决。 图4 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss曲线平缓且保持高位不下降的原因可能是目标任务的难度较大,或模型的学习率设置过小,导致模型
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
是否可用于训练 >=80% 绿色 可用 >=40% 黄色 预警,需要优化数据 <40% 红色 告警,需要优化数据 (可选)当“我的数据集”的OBS数据发生变更时,可以单击右上角“检测”按钮重新校验数据集,也可以在“我的数据集”页签中,单击操作栏中的“更多 > 检测”,重新校验数据集。
实例化;动态工具开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过继承Tool的方式新增,在_run接口中实现工具的功能,例如: from typing import Type from pangukitsappdev.tool
统计模型调用量 模型调用成功后,有两种方式可以查看模型的调用量。 通过“服务管理”功能查看调用量:查看具体某个模型的调用总量、调用成功量、调用失败量,且可按时间进行筛选。 通过“运营面板”功能查看调用量:查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。
更高质量的数据,可以通过CoT(思维链)、self-instruct等方式批量调用大模型,来获取满足您要求的数据。 人工标注:如果以上两种方案均无法满足您的要求,您也可以使用“数据标注”功能,采用人工标注方式来获取数据。 父主题: 典型训练问题和优化策略
进入盘古大模型套件平台,进入“模型开发 > 模型部署 > 边缘部署”,单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产,选择部署方式为边缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 > 边缘部署”,查看边缘部署列表。
3 pip install pymysql~=1.1.0 pip install SQLAlchemy~=2.0.19 API手册 API手册请参见SDK API 手册。 父主题: Python