检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 步骤1：创建应用 本样例场景实现应用的创建。 步骤2：配置Prompt 本样例场景实现应用中的提示词配置。 步骤3：添加预置插件 本样例场景实现应用的插件配置。 步骤4：配置对话体验 本样例场景实现应用的对话体验配置。 步骤5：调试应用 本样例场景实现应用的调试。 步骤1：创建应用
部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型
用户提出的问题，作为运行工作流的输入，与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置，当工作流有配置用户自定义插件节点时，可能需要配置鉴权信息等，具体结构定义详见表4。 表4 PluginConfig参数 参数 是否必选 参数类型 描述 plugin_id
准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
进入应用详情页面。 图1 填写应用名称与应用描述 图2 创建应用 配置Prompt builder，详见配置Prompt builder。 配置插件，详见配置插件。 配置知识，详见配置知识。 配置对话，详见配置开场白和推荐问题。 调试Agent应用，详见调试Agent应用。 A
手工编排Agent应用 手工编排Agent应用流程 配置Prompt builder 配置插件 配置知识 配置开场白和推荐问题 调试Agent应用 父主题： 开发盘古大模型Agent应用
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
小，适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源，提升并行效率。 数据配置 训练数据 选择训练模型所需的数据集。要求数据集经过发布操作，发布数据集操作方法请参见发布数据集。 资源配置 计费模式 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。
可以查看到调用链中该组件的输入和输出。 此外，平台支持配置构建应用所需的NLP大模型参数。 单击应用右上角的，打开大模型参数配置页面。配置参数见表1，完成大模型参数配置。 表1 大模型参数配置 参数 说明 模型选择 选择要使用的LLM，不同的模型效果存在差异。 模式选择 用于配置大模型的输出多样性。 包含取值：
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭
running or have been deleted. 推理服务状态异常。 请检查调用API时deploymentId是否正确，并检查模型的部署状态是否存在异常，如果仍无法解决请联系服务技术支持协助解决。 PANGU.3267 qps exceed the limit. QPS超出限制。
查看NLP大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看模
查看科学计算大模型部署任务详情 部署任务创建成功后，可以在“模型开发 > 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时，表示模型已成功部署，可以进行调用。 此过程可能需要较长时间，请耐心等待。在此过程中，可单击模型名称可进入详情页，查看
包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式的区别如下： 包年/包月计费模式：包年/包月的计费模式是一种预付费方式，按订单的购买周期计费，适用于可预估资源使用周期的场景。 按需计费模式：按需付费是后付费方式，可以随时开通/关闭对应资源，支持秒级计费，系统会根据云服
图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于气象类数据集，可选择的加工算子及参数配置请参见表1。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程
针对“零码”开发者（无代码开发经验），平台提供了Prompt智能生成、插件自定义等能力，方便用户快速构建、调优、运行属于自己的大模型应用，仅需几步简单的配置即可创建属于自己的Agent应用。 对于“低码”开发者（有一定代码开发经验），可以通过工作流方式，适当编写一定代码，来构建逻辑复杂、且有较
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8，INT8量化压缩可以显著减小模型的存储大小，降低功耗，并提高计算速度。 登录ModelArts Studio大模型开发平台，进入所需操作空间。
图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于视频类数据集，可选择的加工算子及参数配置请参见表1。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题： 开发盘古NLP大模型
获取模型部署ID 模型部署ID获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
