检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
5个推理单元。 盘古-NLP-N4系列模型 当部署一个实例时，占用1个推理单元。 单击“立即创建”，下发模型部署任务。 使用外推扩展模型上下文处理长度 在部署模型、部署后修改模型规格时，可以通过外推功能调整模型的输入输出长度。修改部署时扩缩容和外推场景互斥，每次只能修改一个。 当前仅盘
能力，引导模型生成更准确且更具针对性的输出，从而提高模型在特定任务上的性能。在创建提示词工程前，可以先使用预置的提示词模板，或基于提示词模板进行改造，如果提示词模板满足不了使用需求，可再单独创建。 提示词模板可以在平台“应用开发 > 提示词管理 > 预置提示词”中获取。 图1 获取提示词模板
LLMs模块用于对大语言模型API的适配封装，提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化：根据相应模型定义LLM类，如使用盘古LLM为： LLMs.of("pangu")。 from pangukitsappdev.api.llms.factory import
图1 创建知识库 选择知识库类型后，单击“创建”进入知识库设置页面，创建知识库。 当选择“自定义知识库”时，需要设置名称、英文名称、描述信息。注意英文名称和描述将影响模型检索效果，不可随意填写，需按照知识库中文档的实际内容或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情
段内学习率较小，模型可以慢慢趋于稳定，待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快，效果更佳。 模型保存步数 1000 1000~2000中10的倍数 每训练一定数量的步骤（或批次）后，模型的状态就会被保存下来。 可以通过token_num
Token数量，提供费用预估，并优化数据预处理策略。 使用Token计算器的步骤如下： 登录盘古大模型套件平台。 在“服务管理”页面，单击页面右上角“Token计算器”。 在Token计算器中选择所需的模型，并输入文本内容后，单击“开始计算”即可统计输入文本的Token数量。 图1
重和状态的机制，以便故障场景及用户主动终止训练任务后，能够基于中间checkpoints继续训练。 在数据配置中，选择训练模型所需的数据集。 图2 数据配置 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后，模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。
将改写后的结果作为工具检索的输入，这里使用了系统内置的ConversationRewriteSkill，它的作用为将多轮对话改写为单轮。二是在创建一个Agent后，调用了set_tool_retriever方法为其添加了一个ToolRetriever，这样Agent所使用的工具会根据用户的对话动态的选择。
监控安全风险 盘古提供基于主机防护服务HSS的资源和操作监控能力，同时支持CTS审计日志，帮助用户监控自身企业账号下的管理操作。用户可以实时掌握服务使用过程中所产生的各类监控指标。 父主题： 安全
回答必须符合特定的风格或格式，这将造成和基础知识的数据分布差异。例如，需要模型使用某银行客服的口吻进行线上问答，此时需要使用符合该银行风格和格式的数据集进行微调，以提升模型的遵循度。 Prompt工程后，效果仍无法达到预期：当对模型做了大量的Prompt工程，加之目标任务的难度也
会将改写后的结果作为工具检索的输入，这里使用了系统内置的ConversationRewriteSkill，它的作用为将多轮对话改写为单轮。二是在创建一个Agent后，调用了setToolRetriever方法为其添加了一个ToolRetriever，这样Agent所使用的工具会根据用户的对话动态的选择。
查看训练任务详情与训练指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异，训练指标和训练方法的关系如下： 表1 训练指标和训练方法对应关系
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型，如，闭源模型或者裸机部署的自定义推理服务，可以通过继承AbstractLLM自定义一个模型，示例代码如下： @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
是否可以办理异地就医备案手续","target":"可以。本市用人单位长期派驻异地（国内市外）工作的在职参保人员，可以按照常驻异地工作人员申请办理备案。"} 详细有监督数据格式性参见表4。 是 评测数据 CSV、JSONL 同有监督单轮不带system prompt数据。 否 表4
pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境，python版本选择3.9。 在whl包同级目录下，执行如下命令安装： pip install p
删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理，同时支持提示词的查询、删除。 图1 提示词工程使用流程 父主题： 提示词工程
-NLP-N2-SQL模型、盘古-NLP-N2-Agent模型、盘古-NLP-N2-Code模型）经有监督微调（SFT）训练后的用户模型进行边缘部署。 使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能，该功能为白名单特性，需要联系ModelArts服务技术支持人员进行开通。
非流式调用推理服务传的参数只能是1或者2。 请使用正确的取值：1或者2。 PANGU.3321 The parameter [n] can only be 1 when calling streaming. 流式调用推理服务n只能取1。 请使用正确的取值：1。 APIG.0101 The
产品介绍 2 盘古大模型「应用百宝箱」上线 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，首批支持14个开箱即用的大模型应用。用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 公测 体验盘古驱动的应用百宝箱 3 盘古大模型「能力调测」功能上线
最大迭代次数，控制Agent子规划的最大迭代步数，防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-Agent-L0.C模型，或其衍生模型，使用通用模型或其他模型无法运行。如上例所示，当前的module-version需要配置为“N2_age
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
