检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
好。 BLEU-4 模型生成结果和实际句子的加权平均精确率，数值越高，表明模型性能越好。 困惑度 用来衡量大语言模型预测一个语言样本的能力，数值越低，准确率也就越高，表明模型性能越好。 指标适用的任务场景 任务答案是相对比较确定的，例如固定答案的问答任务、NL2SQL、NL2JSON、文本分类等。
面。 图1 模型压缩 选择需要进行压缩的模型执行模型压缩，压缩策略为“INT8”。当压缩模型为N2基础功能模型，或是经有监督微调训练和RLHF训练后的N2模型，支持选择“低消耗模式”，减少推理资源的消耗。 图2 创建压缩任务 输入任务名称和描述，单击“立即创建”，即可下发压缩模型
基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 通用文本（文本补全）（/text/completions） Java、Python、Go、.NET、NodeJs 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。
SearchTool()); } 静态工具和动态工具的注册方式相同，通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数，控制Agent子规划的最大迭代步数，防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-D
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型，单击“申请体验”，填写手机、邮箱和邀请码，单击“下一步”，提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题： 体验盘古大模型功能
大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型，单击“申请体验”，填写手机、邮箱和邀请码，单击“下一步”，提交体验盘古大模型的申请。 图2 申请体验-1 图3 申请体验-2 父主题： 体验盘古大模型功能
选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费：使用免费的推理资源，仅支持部署一个实例。 已购资产：由用户购买的推理资源，实际可用推理单元由购买时的数量决定。
用户: 定个金桥203会议室的会议 助手: 好的，请问会议具体是什么时候开始和结束？请按照"yyyy-MM-dd HH:mm"的格式告诉我。 - 步骤1 答复:好的，请问会议具体是什么时候开始和结束？请按照"yyyy-MM-dd HH:mm"的格式告诉我。 用户: 下午2点到4点
提示词撰写完成后，可以通过输入具体的变量值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息，变量集是一个e
Agent（智能代理），用于对复杂任务的自动拆解与外部工具调用执行，一般包括任务规划、记忆系统、执行系统： 任务规划：将复杂目标任务分解为小的可执行子任务，通过评估、自我反思等方式提升规划成功率。 记忆系统：通过构建记忆模块去管理历史任务和策略，并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
split（通过配置文件指定filePath和mode） DocSplit docPanguSplit = DocSplits.of(DocSplits.PANGUDOC); 其中，filePath指的是需要解析的文档路径，mode为分割解析模式，具体定义如下： 0 - 返回文档的原始段落，不做其他处理。
Agent效果优化 如果Agent出现无法正确调用工具的情况，可以尝试一些prompt优化技术提升效果。 优化System prompt 提示财务报销助手依赖的必要信息，如用户名称等基础信息： final String customSystemPrompt = "你是财务
# 完成时要生成的令牌的最大数量 temperature: Optional[float] # 调整随机抽样的程度，温度值越高，随机性越大; 范围见模型API规范 top_p: Optional[float] # 核采样值， 和temperature不同时配置
盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异，请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中，一个自监督训练数据集内，上传的数据文件数量不得超过1000个，单文件大小不得超过1GB，所有文件的总大小不得超过200GB。 表1
在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选 参数类型 描述 tool_id 是 String 工具ID，必须由英文小写字母和_组成，需要符合实际工具含义。 tool_desc 是 String 工具的描述，尽可能的准确简短描述工具的用途。 说明： 该描述
预警，需要优化数据 ＜40% 红色 告警，需要优化数据 （可选）当“我的数据集”的OBS数据发生变更时，可以单击右上角“检测”按钮重新校验数据集，也可以在“我的数据集”页签中，单击操作栏中的“更多 > 检测”，重新校验数据集。历史存量未校验过的数据集也可以进行重新校验。 图2 重新校验数据集质量1
/etc/hccn.conf，确保有如下回显网卡信息，则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时，需要有一个节点来提供NFS网盘服务，创建部署时通过NFS挂载的方式访问模型。 父主题： 部署为边缘服务
cluster_install-ascend.sh脚本主要用于安装docker、hdad和k3s，请联系华为工程师获取。 pkg-path是步骤2中整合的安装包文件目录。 host-ip是设备在集群中的ip，一般为内网ip。 node-type是集群节点类型。其中，worker表示工作
DocSplit为例。 其中，filePath指的是需要解析的文档路径；mode为分割解析模式，具体定义如下： 0 - 返回文档的原始段落，不做其他处理。 1 - 根据标注的书签或目录分段，一般适合有层级标签的word文档。 2 - 根据内容里的章节条分段，适合制度类文档。 3 - 根据长度分
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
