检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时，才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API，仅供测试使用。 前提条件 使用API调用模型前，请先完成盘古大模型服务订购和开通操作。 使用Postman调用API
大模型是否可以自定义人设 大模型支持设置人设，在用户调用对话问答（chat/completions）API时，可以将“role”参数设置为system，让模型按预设的人设风格回答问题。例如，以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。
A：先生，您家的网络无法连接是吗 A：请问您尝试重新插拔网线吗？ B：是的，我试了 B：还是不行 拼接后的微调数据格式示例： {"context": ["xxx号话务员为您服务！ 先生您好，有什么可以帮助您的？", "你好，是这样的 我家里上不了网了 网连不上", "先生，您家的网络无法连接是吗
创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述，如填写功能介绍。 指令 通过指令可以设定A助手的行为和响应。如设置AI助手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。
403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 404 Not Fou 所请求的资源不存在。 建议直接修改该请求，不要重试该请求。 405
properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀
清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 推理参数设置：请检查推理参数中的“温度”或“核采样”等参数的设置，适当减小其中一个
属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请注意，该参数值存在上限，请结合目标任务的实际需要以及模型支持的长度限制来调整。
用户可以在页面右侧进行参数设置，然后在输入框中输入问题，模型就会返回对应的答案内容，具体参数信息见表1。 图1 体验预置模型功能 表1 能力调测参数信息表 参数名称 描述 温度 控制语言模型输出的随机性与创造性。温度设置越低，输出更可预测；温度设置越高，输出种类更多，更不可预测。
用户可以在页面右侧进行参数设置，然后在输入框中输入问题，模型就会返回对应的答案内容，具体参数信息见表1。 图1 体验预置模型功能 表1 能力调测参数信息表 参数名称 描述 温度 控制语言模型输出的随机性与创造性。温度设置越低，输出更可预测；温度设置越高，输出种类更多，更不可预测。
于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 数据
因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际
变量定义区域展示的是整个工程任务下定义的变量信息，候选提示词中关联的变量也会进行展示，候选词相关操作请参见设置候选提示词。 在模型区域单击“设置”，设置提示词输入的模型和模型参数。 图5 设置模型 同一个提示词工程中，定义的变量不能超过20个。 父主题： 撰写提示词
loyments/{deployment_id} （/chat/completions在SDK代码中已进行设置）。 盘古大模型API调用URL获取方式详见《API参考》“如何调用REST API” sdk.llm.pangu.iam.url sdk.llm.pangu.iam.domain
Administrator 统一身份认证服务(除切换角色外)所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略，系统会自动推荐授权范围方案。例如，可以选择“所有资源”，即用户组内的IAM用户可以基于设置的授权项限使用账号中所有的企业项目、区域项目、全局服务资源。也可以选择“指定区
推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置，适当增大其中一个参数的值，可以提升模型回答的多样性。 数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而
权限管理 如果您需要为企业员工设置不同的访问权限，以实现对华为云上购买的盘古大模型资源的权限隔离，可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，可以跳过本章节，不影响您使用服务的其他功能。
于中间checkpoints继续训练。 在数据配置中，选择训练模型所需的数据集。 图2 数据配置 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后，模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。 图3 基本信息 单击“立即创建”，创建自监督训练任务。
如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？ 如何调整训练参数，使盘古大模型效果最优？ 如何判断盘古大模型训练状态是否正常？ 为什么微调后的盘古大模型总是重复相同的回答？ 盘古大模型是否可以自定义人设？ 更多 大模型概念类 如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
