检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
话题重复度控制（presence_penalty） -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值，模型倾向于生成新的、未出现过的内容；参数设置负值，倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 为
如何调整训练参数，使模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
盘古大模型提供了REST（Representational State Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于
properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀
常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”，才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件 使用API调用模型前，需要先开通盘古大模型服务。 使用Postman调用API
如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？ 如何调整训练参数，使盘古大模型效果最优？ 如何判断盘古大模型训练状态是否正常？ 为什么微调后的盘古大模型总是重复相同的回答？ 盘古大模型是否可以自定义人设？ 更多 大模型概念类 如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题： 部署盘古大模型
务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异，训练指标和训练方法的关系如下： 表1 训练指标和训练方法对应关系 训练指标\模型类型 自监督训练 有监督训练 训练损失值 √ √ 模型准确率 × √ 指标看板
于中间checkpoints继续训练。 在数据配置中，选择训练模型所需的数据集。 图2 数据配置 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后，模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。 图3 基本信息 单击“立即创建”，创建自监督训练任务。
loyments/{deployment_id} （/chat/completions在SDK代码中已进行设置）。 盘古大模型API调用URL获取方式详见《API参考》“如何调用REST API” sdk.llm.pangu.iam.url sdk.llm.pangu.iam.domain
大模型是否可以自定义人设 大模型支持设置人设，在用户调用对话问答（chat/completions）API时，可以将“role”参数设置为system，让模型按预设的人设风格回答问题。例如，以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。
提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了较为简单的任务作为示例，以便简明易懂地说明这些技巧在提示工程中的应用。随着模型的进化和理解能力的提
清理数据：删除缓存中的数据。例如，删除对应的缓存数据，可参考以下示例。 // 清理 cache.clear() 配置过期策略：设置缓存有效期，支持基于时间和大小的限制。 // 设置缓存数据10s 后过期 Cache cache = Caches.of(Caches.IN_MEMORY, CacheStoreConfig
全量微调：在模型有监督微调过程中，对大模型的全部参数进行更新。这种方法通常会带来最优的模型性能，但需要大量的计算资源和时间，计算开销较高。 局部微调（LoRA）：在模型微调过程中，只对特定的层或模块的参数进行更新，而其余参数保持冻结状态。这种方法在很多情况下可以显著减少计算资源和时间消耗，且依旧可以保持较好的模型性能。
创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述，如填写功能介绍。 指令 通过指令可以设定A助手的行为和响应。如设置AI助手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。
子的结构和语义。 模型优化建议 如何基于指标的分值对训练任务进行调整：一般横向比较两个模型时，可以参考该指标。然而，指标没有一个明确的阈值来指示何时模型效果差。因此，单靠该指标无法直接决定任务的调整策略。 如果指标低是由于提示词（prompt）设置不合理，可以通过在模型训练阶段扩
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
