检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 典型训练问题和优化策略
大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被
为什么微调后的模型，回答总是在重复某一句或某几句话 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“
npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成SDK代码 API Explorer可根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例
测试集质量：请检查测试集的目标任务和分布与实际场景是否一致，质量较差的测试集无法反映模型的真实结果。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。此外，若可预见实际场景会不断发生变化，建议您定期更新训练数据，对模型进行微调更新。 父主题： 典型训练问题和优化策略
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
考察模型逻辑 虽然模型的思考过程是个黑盒，但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求，考察模型生成的逻辑，提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案，可以反问模型回答的逻辑，有时可以发现错误回答的根因，并基于此修正提示词。 在反问时
的值，或根据实际情况调整“学习率”的值，帮助模型更好收敛。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。 父主题： 典型训练问题和优化策略
逐步增加细节和说明。打好基础是后续提示词优化的前提，基础提示词生成效果差，优化只会事倍功半。 例如，文学创作类可以使用“请创作一个关于{故事主题}的故事”，邮件写作类可以使用“根据以下信息，写一封商务电子邮件。{邮件内容描述}”，摘要任务可以使用“请根据以下内容生成摘要。\n{文本内容}”。\n为换行符。
NLP模型在流式输出时，同样支持内容审核。特别是模型生成超长内容时，通过实时审核模型生成的内容片段，可以有效降低首token的审核时延，同时确保用户看到的内容是经过严格审核的。 图3 大模型内容审核 购买内容审核套餐包时，如果使用“文本补全”和“多轮对话”功能，需要选择“文本内容审核”套餐。
创建提示词评估数据集 批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。
可以引导大模型生成准确率更高的结果。 单样本/多样本 可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不能重复等，否则可能会直接嫁接前文样例的内容，也可以约束只是让它学习参考样例的xxx生成思路、xxx风格、xxx生成方法等。
数据转换、过滤和去重等操作。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型，选择对应的数据集和数据集版本，输出路径，设置名称、描述等信息为可选项。 输出路径默认为系统生成，您也可以自定
from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory.vector.factory import Vectors from pangukitsappdev.api.memory
排顺序 在提示词中内容的顺序也很重要，基于盘古大模型调优经验，将关键信息放在结尾处，模型输出效果更好。不同任务的关键信息不同，若需要模型生成的内容更具创意性，关键信息需要为内容描述；需要模型严格遵循指令进行回复的，关键信息为指令及说明。 父主题： 常用方法论
from pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory
深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 华为云盘古大模型，以下功能支持API调用。 表1 API清单 API 功能 NLP-文本补全 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。它可以用来做文本生成、自动写作、代码补全等任务。
基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 通用文本（文本补全）（/text/completions） Java、Python、Go、.NET、NodeJs 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。
根据长度分段，默认按照500字拆分，会尽量保留完整句子。 from pangukitsappdev.api.doc_split.factory import DocSplits from pangukitsappdev.api.doc_split.split_config import SplitConfig
更多，更不可预测。 核采样 控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说，设置较大的参数值可以生成较长和较完整的回复，但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复，但也可能导致生成不完整或不连贯的内容，请避免该值
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
