检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多轮问答场景的输入（“context”字段）请务必使用“[问题, 回答, 问题, 回答, 问题, ……]”的方式来构造，若您的数据是同一个角色连续多次对话的“多轮问题”，可以将同一个角色的对话采用某个分隔符拼接到一个字符串中。例如： 原始对话示例： A：xxx号话务员为您服务！ A：先生您好，有什么可以帮助您的？ B：你好，是这样的
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置，适当增大其中一个参数的值，可以提升模型回答的多样性。
200个字符，参数描述会作为大模型解析参数含义的依据。 参数类型 该参数值的数据类型，当前支持三种类型。 String：字符串类型 Integer：四字节整型 Number：八字节浮点数 请求方式 默认以Body方式请求。 是否必填 指定该参数是否为必填项。 打开开关：必填 关闭开关：非必填
是 List<String> 待统计Token数的字符串。List长度必须为奇数。 with_prompt 否 Boolean 是否仅统计输入字符的Token数 true：仅统计输入字符串的Token数； false：统计输入字符串和推理过程产生字符的总Token数。 响应参数 表4
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
选择压缩策略。除INT8压缩策略外，部分模型支持INT4压缩策略，可在选择模型后，根据页面展示的策略进行选择。 INT8：该压缩策略将模型参数压缩至8位字节，可以有效降低推理显存占用。 INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。
撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词设置为“你是一个旅游助手，需要给用户介绍旅行地的风土人情。请介绍下{{location}}的风土人情。”在评估提示词效果时，可以通过批量替换{{
用于代表用户的唯一标识符，字符串长度最大64，最小1。 stream 否 boolean 流式开关。 默认值为false，如果开启流式，请赋值true，同时n参数只能设置为1。开启流式开关后，API会在生成文本的过程中，实时地将生成的文本发送给客户端，而不是等到生成完成后一次性将所有文本发送给客户端。
使用规则构建的优点是快速且成本低，缺点是数据多样性较低。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，将无监督的文本按照章节、段落、字符数进行切片，让模型基于这个片段生成问答对，再将段落、问题和答案三者组装为有监
数据集 训练数据集。 类别特征列 指定使用LabelEncoder处理的字符串类型类别特征的列表。格式为["列名1","列名2"]，默认设置为[]，表示没有需要处理的类别特征。 LabelEncoder的作用是将类别特征转换为数值型特征，使模型能够处理这些特征。 非特征列 列出不需
等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。 提示词撰写
0，经度（lon）从0.0到360.0。 time_range：数据的时间范围，时间戳格式为毫秒数。 total_size：数据文件的总大小，单位为字节。 surface_features：地表特征变量列表，例如气压（P）、温度（T）、风速（U、V）。 upper_air_layers：高
科技行业公司的平均利润和市值是多少？ 识别原始问题中的槽位： 科技行业公司的[metric]利润和市值是多少？ 采用简单的逻辑规则进行替换，获取更多数据。此处将[metric]替换为“最大”、“最小”、“中位”、“总”等，示例如下： 科技行业公司的最大利润和市值是多少？ 科技行业公司的最小利润和市值是多少？
步骤1：创建工作流 创建一个新的工作流。 步骤2：配置开始节点 设定工作流的起始点。 步骤3：配置大模型节点 将大模型节点加入工作流，用于处理复杂的自然语言理解或生成任务。 步骤4：配置意图识别节点 配置该节点来分析用户输入，识别其意图，以便后续处理。 步骤5：配置提问器节点 配置一个提问器节点
模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式，能够满足不同场景
的收敛。然而，较大的数据批量也会占用更多的显存资源，这可能导致显存不足，并且会延长每次训练的时长。 学习率 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： 如果学习率过大，模型可能无法收敛。 如果学习率过小，模型的收敛速度将变得非常慢。 热身比例 热身比例是指在模型训练初期逐渐增加学习率的过程。
AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密因子，结合请求体携带的特定信息计算而成。通过访问密钥（AK/SK）认证方式进行认证鉴权，即使用Access
的回答。 当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域知识进行结合，将发挥巨大价值。私域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
