检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平
用户可以根据需求灵活划分工作空间，实现资源的有序管理与优化配置，确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理，平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置，确保每个用户在其指定的工作空间内，拥有合适的访问与操作权限
说明 步骤1：创建应用 本样例场景实现应用的创建。 步骤2：配置Prompt 本样例场景实现应用中的提示词配置。 步骤3：添加预置插件 本样例场景实现应用的插件配置。 步骤4：配置对话体验 本样例场景实现应用的对话体验配置。 步骤5：调试应用 本样例场景实现应用的调试。 步骤1：创建应用
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
rompt配置，直接接受用户原始输入，并输出大模型执行后的原始输出，该组件的配置详见配置大模型组件。 用户可根据需求配置所需组件，并连接其他组件。除开始、结束和大模型组件外，平台提供了意图识别、提问器、插件、判断、代码组件，配置详见配置意图识别组件、配置提问器组件、配置插件组件、配置判断组件、配置代码组件。
获取模型部署ID 模型部署ID获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1
部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题： 开发盘古NLP大模型
进入应用详情页面。 图1 填写应用名称与应用描述 图2 创建应用 配置Prompt builder，详见配置Prompt builder。 配置插件，详见配置插件。 配置知识，详见配置知识。 配置对话，详见配置开场白和推荐问题。 调试Agent应用，详见调试Agent应用。 A
手工编排Agent应用 手工编排Agent应用流程 配置Prompt builder 配置插件 配置知识 配置开场白和推荐问题 调试Agent应用 父主题： 开发盘古大模型Agent应用
使用盘古大模型服务前，需要进行一系列准备工作，确保您能够顺利使用盘古大模型服务。 准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间 04 AI一站式流程 通过一站式流程，完成从数据集准备、模型训练、压缩、部署到调用，全面掌握盘古大模型的开发过程。同时，结合应用开发的提示词工程、Agent应
查看NLP大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看模
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题： 开发盘古科学计算大模型
查看科学计算大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看
用户提出的问题，作为运行工作流的输入，与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置，当工作流有配置用户自定义插件节点时，可能需要配置鉴权信息等，具体结构定义详见表4。 表4 PluginConfig参数 参数 是否必选 参数类型 描述 plugin_id
准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
支持您添加或去除新的高空层次，训练任务会根据您配置的高空层次对模型重新进行训练。 高空变量 设置训练数据的高空变量信息，在“预训练”的场景中也支持您添加或去除新的高空变量，选择后会在变量权重中增加或去除该变量权重，训练任务会根据您配置的高空变量对模型重新进行训练。 表面变量 设置
可以查看到调用链中该组件的输入和输出。 此外，平台支持配置构建应用所需的NLP大模型参数。 单击应用右上角的，打开大模型参数配置页面。配置参数见表1，完成大模型参数配置。 表1 大模型参数配置 参数 说明 模型选择 选择要使用的LLM，不同的模型效果存在差异。 模式选择 用于配置大模型的输出多样性。 包含取值：
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，需提交试用申请，申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”，申请试用盘古大模型服务。 图1 申请试用 父主题： 准备工作
小，适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源，提升并行效率。 数据配置 训练数据 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见发布数据集。 资源配置 计费模式 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
