检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际
推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置，适当增大其中一个参数的值，可以提升模型回答的多样性。 数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而
import LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"] = "./llm.properties" # 初始化LLMs
自监督训练： 不涉及 有监督微调： 该场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表1 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 6 学习率（learning_rate） 7.5e-05 学
量差，或学习率设置过大，使得模型在最优解附近震荡，甚至跳过最优解，导致无法收敛。您可以尝试提升数据质量或减小学习率来解决。 图4 异常的Loss曲线：上升 Loss曲线平缓，保持高位：Loss曲线平缓且保持高位不下降的原因可能是目标任务的难度较大，或模型的学习率设置过小，导致模型
获取Token消耗规则 每个Token代表模型处理和生成文本的基本单位，它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token，并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算，即实际消耗的Token数量乘以Token的单价。为
expired”（证书已过期）或“unable to verify the first certificate”（无法验证第一个证书）等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。在一次会话请求中，人设只需要设置一次。 content 是 String 对话的内容，可以是任意文本，单位token。 设置多轮对话时，message中content个数不能超过20。
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
缺省值：0 （表示该参数未生效） stream 否 boolean 流式开关。 默认值为false，如果开启流式，请赋值true，同时n参数只能设置为1。开启流式开关后，API会在生成文本的过程中，实时地将生成的文本发送给客户端，而不是等到生成完成后一次性将所有文本发送给客户端。 响应参数
自监督训练： 不涉及 有监督微调： 本场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表2 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 4 学习率（learning_rate） 7.5e-05 学
配置盘古访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https:/
数据量和质量均满足要求，Loss也正常收敛，为什么微调后的效果不好 这种情况可能是由于以下几个原因导致的，建议您依次排查： Prompt设置：请检查您使用的Prompt，对于同一个目标任务，建议在推理阶段使用和训练数据相同或相似的PROMPT，才能发挥出模型的最佳效果。 模型规格
横向比较提示词效果 将设置为候选的两个提示词横向比较，获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务名称，跳转工程任务下候选提示词页面。 图1
横向比较提示词效果 设置候选提示词 横向比较提示词效果 父主题： 提示词工程
进阶技巧 设置背景及人设 理解底层任务 CoT思维链 考察模型逻辑 父主题： 提示词写作实践
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
