检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择盘古-NLP-N4系列模型时显示，配置最大Token长度。 服务名称 在线服务的名称。 描述 在线服务的简要描述。 订阅提醒 勾选订阅提醒，并添加手机号/邮箱，系统将在训练任务完成或重要事件发生时，发送提醒。 表2 部署实例量与推理单元数关系 模型类型 推理资源 盘古-NLP-N1系列模型 4K版本：
{query}") return retrieved_tools 上述tool_provider中，实现了provide接口，可以利用工具检索的返回动态构建出工具列表，同时也可以加一些后处理工作，例如根据黑白名单做工具的过滤。 与上述的tool_provide呼应，在向t
info("{} {}", query, retrievedTools); } } 其中，toolProvider中实现了provide接口，可以利用工具检索的返回动态构建出工具列表，同时也可以加一些后处理工作，如根据黑白名单做工具的过滤。 与上述的toolProvide呼应，在向too
hdactl info 配置hda.conf配置文件信息（可选） 登录nfs服务节点，执行如下命令： vi /etc/hilens/hda.conf 增加如下配置： hilens.nfs.server.ip=192.168.0.150 hilens.nfs.mount.dir=/home/mind/model
了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请注意，该参数值存在上限，请结合目标任务的实际需要以及模型支持的长度限制来调整。
打基础 先制定一个能够明确表达主题的提示词（若模型训练时包含相似任务，可参考模型训练使用的提示词），再由简至繁，逐步增加细节和说明。打好基础是后续提示词优化的前提，基础提示词生成效果差，优化只会事倍功半。 例如，文学创作类可以使用“请创作一个关于{故事主题}的故事”，邮件写作类可
盘古自然语言大模型的适用场景有哪些 自然语言处理大模型是一种参数量极大的预训练模型，是众多自然语言处理下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型，可以根据业务
及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考准备工作。 # # Copyright (c)
等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如，嵌入模型为N2系列，则模型版本也为N2。 工具配置 网页搜索 开启网页搜索后，可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。 添加一个工具 用
History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory
务。 使用Postman调用API 获取API请求地址。 在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古
数据质量：若数据格式没有问题，仍然发现模型效果不好，您可以根据具体问题针对性的提升您的数据质量。比如，随着对话轮数的增加，模型出现了遗忘，可以检查构造的训练数据中轮数是否普遍较少，建议根据实际情况增加数据中的对话轮数。 父主题： 典型训练问题和优化策略
盘古大模型提供了REST（Representational State Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
下载并保存到本地（log格式）。可通过日志查看报错，调整任务配置重新发起。 图4 评估日志页面 评估指标说明 模型训练完成后，可以通过一系列的评估方法来衡量模型的性能。当前支持基于规则打分，即基于相似度/准确率进行打分，对比模型预测结果与标注数据的差异，从而计算模型指标。支持的模型指标请参见下表。
安装依赖的组件包， pip install pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考准备工作。 # # Copyright (c)
History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk.api.memory.config.MessageHistoryConfig;
例如，“结合金融领域相关知识，生成一份调研报告大纲，报告主题是区块链洞察”、“以上是某理财app用户反馈的问题，请提供解决方案。” 人设： 增加人设可以让生成的内容更符合该领域需求。 例如，“假设你是一位银行面试官，请生成10个银行面试问题。”、“假如你是一个高级文案策划，请生成1
systemPrompt(customSystemPrompt).build()) .build(); 优化工具描述 工具依赖的信息，可以通过其他工具获取时，增加关联关系提示： @AgentTool(toolId = "query_reimbursement_limit", toolDesc = "
使模型能够在面对新挑战时迅速调整和优化，提供适应新领域的服务。 通过微调技术，盘古大模型能够在保持原有优势的同时，融入新领域的特征和规律，实现对新任务的快速适应。这种能力极大地扩展了模型的应用范围，使其在更广泛的业务场景中发挥作用，为用户提供更加全面和深入的智能服务。
数据量很少，可以微调吗 数据量足够，但质量较差，可以微调吗 无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 如何调整训练参数，使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数，使模型效果最优 为什么微调后的模型，回答总是在重复某一句或某几句话 为什么微调后的模型，回答中会出现乱码
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
