检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
欠费说明 在使用云服务时，如果账户的可用额度低于待结算账单金额，即被判定为账户欠费。欠费可能会影响云服务资源的正常运行，因此需要及时充值。预付费模式购买后不涉及欠费。 服务按时长计费的，当余额不足以支付当前费用时，账户将被判定为欠费。由于盘古NLP大模型不涉及物理实体资源，因此无
预览提示词效果 提示词撰写完成后，可以通过输入具体的变量值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变
模型在测试集上表现不佳，泛化能力差。 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征，进行异常数据的筛选。 对于异常值，视情况进行删除、替换、保留等操作，兼顾模型的收敛与鲁棒性。
大学习率，使用学习率预热（Warm-up）的方法，在训练初期逐步增加学习率，避免初始阶段学习率过小。 学习率太大时，损失曲线剧烈震荡，甚至出现梯度爆炸的问题，可以使用学习率衰减（Decay）策略，在训练过程中逐步减小学习率，避免后期学习率过大。建议动态调整学习率，使用自适应优化器
为什么多轮问答场景的盘古大模型微调效果不好 当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和
行互动。多种格式的本地文档（支持docx、pptx、pdf等）都可以导入至知识库。 灵活的工作流设计：平台提供灵活的工作流设计，用于开发者处理逻辑复杂、且有较高稳定性要求的任务流。 支持“零码”和“低码”开发者通过“拖拉拽”的方式快速搭建一个工作流，创建一个应用。 Agent开发平台应用场景
都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。
成更具创造性的内容，可以使用较高的温度，反之如果目标任务的需要生成更为确定的内容，可以使用较低的温度。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。
模型调优方法介绍 调优目标：提升模型精度和性能。 调优思路：模型调优总体可分为两方面，数据预处理和模型训练参数优化，优化思路是从最简单的情形出发，逐步迭代调整提升模型效果，通过实验发现和确认合适的数据量，以及最佳的模型结构和模型参数。 父主题： 盘古科学计算大模型调优实践
为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployments/{deployment_id}/caltokens 表1
大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pan
版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置
NLP大模型评测指标说明 NLP大模型支持自动评测与人工评测，各指标说明如表1、表2、表3。 表1 NLP大模型自动评测指标说明-不使用评测模板 评测指标（自动评测-不使用评测模板） 指标说明 F1_SCORE 精准率和召回率的调和平均数，数值越高，表明模型性能越好。 BLEU-1 模型生成
版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置
版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置
资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见创建边缘资源池。 CPU：部署需要使用的最小CPU值（物理核）。 内存：部署需要使用的最小内存值。 Ascend：部署使用的NPU数量。 负载均衡：创建负载均衡步骤请详见步骤5：创建负载均衡。 实例数：设置部署模型时所需的实例数。
资源池：选择部署模型所需的边缘资源池，创建边缘资源池步骤请详见创建边缘资源池。 CPU：部署需要使用的最小CPU值（物理核）。 内存：部署需要使用的最小内存值。 Ascend：部署使用的NPU数量。 负载均衡：创建负载均衡步骤请详见步骤5：创建负载均衡。 实例数：设置部署模型时所需的实例数。
型会根据提示词感知适用的插件，并自动调用它们，从外部服务中获取结果并返回。这样的设计使得Agent能够智能处理复杂任务，甚至跨领域解决问题，实现对复杂问题的自动化处理。 Agent开发平台支持两种类型的插件： 预置插件：平台为开发者和用户提供了预置插件，直接可用，无需额外开发。例
角色指令模板。单击“”，可使用获取提示词模板中的提示词模板。 图1 提示词 提示词填写完成后可通过大模型进行优化，单击“”，可在 “Prompt优化”窗口中复制优化后的提示词，单击“确定”。 注意，使用智能优化提示词功能前，请先在页面右上角选择需要使用的模型。 图2 配置大模型 步骤3：添加插件
删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理，同时支持提示词的查询、删除。 图1 提示词工程使用流程 父主题： 开发盘古大模型提示词工程
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
