检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
用 05 实践 通过基模型训练出行业大模型和提示词写作的最佳实践，您将深入掌握行业模型的定制化流程与高效提示词构建方法，确保在实际应用中充分发挥盘古大模型的行业优势，提升业务效果。 最佳实践 提示词写作实践 Agent应用实践 06 API 通过API文档的概述、NLP大模型AP
式接近，模型能够“回忆”并运用已学习的知识和指令。 不同模型间效果差异。 由于不同厂商采用的训练策略和数据集差异，同一提示词在不同模型上的效果可能大不相同。由于不同厂商采用的训练策略和数据集差异，同一提示词在不同模型上的效果可能大不相同。例如，某些模型可能在处理特定领域的数据时表
优化提示词 模型训练完成之后，优化提示词是一种可以继续优化模型效果的有效策略，一个好的提示词能极大地激发模型的潜能，使其在特定任务上表现出色。接下来，我们将深入探讨提示词优化的方法和技巧，帮助您更好地驾驭模型，实现高质量的任务完成。 优化提升词一般可以从以下几个方面开始： 选择合适的提示词模板
CPU：部署需要使用的最小CPU值（物理核）。 内存：部署需要使用的最小内存值。 Ascend：部署使用的NPU数量。 负载均衡：创建负载均衡步骤请详见步骤5：创建负载均衡。 实例数：设置部署模型时所需的实例数。 安全护栏 选择模式 安全护栏保障模型调用安全。 计费模式 当前支持安全护栏基础版，内置了默认的内容审核规则。
优化训练超参数 模型微调超参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
CPU：部署需要使用的最小CPU值（物理核）。 内存：部署需要使用的最小内存值。 Ascend：部署使用的NPU数量。 负载均衡：创建负载均衡步骤请详见步骤5：创建负载均衡。 实例数：设置部署模型时所需的实例数。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择
为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployments/{deployment_id}/caltokens 表1 路径参数
NaN（梯度爆炸）的问题。 学习率过低，会导致损失下降非常缓慢，训练过程耗时较长，模型可能陷入局部最优等问题。 科学计算大模型的学习率调优策略如下： 学习率太小时，损失曲线几乎是一条水平线，下降非常缓慢，此时可以增大学习率，使用学习率预热（Warm-up）的方法，在训练初期逐步增加学习率，避免初始阶段学习率过小。
持选择已发布模型或未发布模型。 选择压缩策略。除INT8压缩策略外，部分模型支持INT4压缩策略，可在选择模型后，根据页面展示的策略进行选择。 INT8：该压缩策略将模型参数压缩至8位字节，可以有效降低推理显存占用。 INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。
模型对异常值过度敏感，导致拟合异常值而非整体数据分布。 训练过程中损失波动较大，甚至出现梯度爆炸。 模型在测试集上表现不佳，泛化能力差。 优化调整策略如下： 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征，进行异常数据的筛选。
格遵循指令进行回复的，关键信息为指令及说明。 补预设 当任务存在多个情境时，编写提示词时需要考虑全面，需要做好各种情境的预设，告知模型对应策略，可以有效防止模型误回答以及编造输出。 父主题： 提示词写作实践
说明搭建边缘服务器集群的步骤。 步骤3：安装Ascend插件 说明安装Ascend插件指导。 步骤4：创建证书 说明创建负载均衡所需证书步骤。 步骤5：创建负载均衡 说明创建负载均衡步骤。 ModelArts Studio大模型开发平台当前仅部分模型支持边缘部署，详见《产品介绍》“模型能力与规格”章节。
常慢。当batch_size减小时，学习率也应相应地线性减小。预训练时，默认值为：0.00001，范围为[0, 0.001]。 学习率调整策略 用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率，以改善模型的训练效果。目前支持CosineDecayLR调度器。
org/project/rouge-score/）进行问答对的过滤。 下表列举了该场景常见的数据质量问题，以及相对应的清洗策略，供您参考： 表1 微调数据问题与清洗策略 序号 数据问题 清洗步骤与方式 1 问题或回答中带有不需要的特定格式内容或者时间戳等。 通过编写代码、正则表达式等进
elArts Studio大模型开发平台提供的“成员管理”功能实现子用户精细的权限管理。 创建用户组 管理员可以创建用户组，并给用户组授予策略或角色，然后将用户加入用户组，使得用户组中的用户获得相应的权限。 创建用户组的步骤如下： 使用主账号登录IAM服务控制台。 左侧导航栏中，
为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 Token计算器 用户在部署服务的过程中，建议开启“安全护栏”功能，以保证内容的安全性。 父主题： 使用前必读
suggestion String 审核结果：block表示未通过。 reply String 兜底回复：审核未通过时兜底回复为有效回复，兜底策略。 状态码： 400 表12 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String
行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略，控制OBS的读写权限。 表1 策略信息 策略名称 拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:AbortMultipartUpload
学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： 如果学习率过大，模型可能无法收敛。 如果学习率过小，模型的收敛速度将变得非常慢。 学习率调整策略 用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率，以改善模型的训练效果。目前支持CosineDecayLR调度器。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
