检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置插件 配置插件的步骤如下： 在“高级配置 > 插件”，单击“添加”。 图1 配置插件 在“添加插件”窗口，选择预置插件或个人插件，单击进行添加，最后单击“确定”。若想创建插件可单击右上角“创建插件”，创建插件的步骤请参见创建插件。 图2 添加插件 添加插件后，可在“高级配置”中查看当前已添加的插件。
配置知识 配置知识的步骤如下： 在“高级配置 > 知识”，单击“添加”。 在“添加知识”窗口，单击“点此上传”，上传知识文件。 图1 添加知识 上传完成后，单击“确定”。 在“高级配置”中，可查看上传成功的知识文件。 图2 知识上传成功 父主题： 手工编排Agent应用
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts
配置Prompt builder 创建Agent的首要步骤就是撰写提示词（Prompt），为Agent设定人设、目标、核心技能、执行步骤。Agent会根据LLM对提示词的理解，来选择使用插件或知识库，响应用户问题。因此，一个好的提示词可以让LLM更好的理解并执行任务，Agent效果与提示词息息相关。
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下： 在“高级配置 > 开场白和推荐问题”中，可输入自定义开场白，也可单击“智能添加”。 在推荐问中单击“添加”，可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果
应用提示词生成面试题目 应用场景说明：将面试者的简历信息输入给大模型，基于简历生成面试问题，用于辅助人工面试或实现自动化面试。 父主题： 提示词应用示例
管理科学计算大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数，但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”后进行升
级模型版本，支持8K训练，4K/32K推理。基于Snt9B3卡可单卡推理部署，此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、在线推理和能力调测特性。单卡部署4K模型版本支持64并发，单卡部署32K模型版本支持32并发。 Pangu-NLP-N1-Chat-128K-20241030
t9B3卡可单卡推理部署，此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、在线推理和能力调测特性。 Pangu-NLP-N1-Chat-128K-20241030 128K 此版本是2024年10月发布的十亿级模型版本，支持128K序列长度在线推理。基于Snt9B3
参数填写完成后单击“立即创建”创建模型压缩任务。 步骤8：部署NLP大模型 在左侧导航栏中选择“模型开发 > 模型部署”，单击“创建部署”。 在“创建部署”页面，选择“盘古大模型 > NLP大模型”，单击“从资产选模型”，选择步骤7：压缩NLP大模型步骤中压缩后的模型。 选择部署方式“云上部署”，选择最大TOKEN
填写输入参数时，deployment_id为模型部署ID，获取方式如下： 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发
配架构类型。 资源配置 实例数 设置部署模型是所需的实例数，单次部署服务时，部署实例个数建议不大于10，否则可能触发限流导致部署失败。 基本信息 名称 设置部署任务的名称。 描述（可选） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题： 部署科学计算大模型
管理NLP大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型，但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时，可选择全量升级或滚动升级两种方式：
模型。使用该功能前，需完成模型的部署操作，详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度预测能力，在选择好模型后，根据需求选择相应的数据和模型配置信息，模型就会返回相应的预测结果。
可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
成工作流的基本单元。例如，大模型、插件、代码、判断等组件。 创建工作流时，工作流默认包含了开始、结束和大模型组件，每个组件需要配置不同的参数，如组件配置、输入和输出参数等。基于该工作流，开发者可通过拖、拉、拽可视化组件等方式添加更多的组件，实现复杂业务流程的编排，从而快速构建Agent。
当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请
测，支持在线推理、能力调测特性，基于Snt9B3部署，可支持1个推理单元部署推理。 Pangu-AI4S-Weather_Precip-20241030 此版本在Studio上首次发布，用于降水预测，支持在线推理、能力调测特性，基于Snt9B3部署，支持1个推理单元部署推理。 P
盘古大模型的模型订阅服务、数据托管服务、推理服务默认采用包周期计费，数据智算服务、数据通算服务、训练服务默认采用按需计费。 盘古大模型使用周期内不支持变更配置。
能。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
