检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。
表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 安全护栏 选择模式
表1 CV大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版，内置了默认的内容审核规则。
可以有效降低推理显存占用。 INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后，系统将在本次压缩任务状态变更时，向用户发送短信/邮件提醒。 填写基本信息，包括任务名称、压缩后模型名称与描述，单击“立即创建”。
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建CV大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio大
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建NLP大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio
String 发送的实体的MIME类型，参数值为“application/json”。 stream 否 Boolean 是否开启流式调用。 true：开启 false：不开启 说明： 当前Agent只支持流式调用，需设置为true。 表3 请求Body参数 参数 是否必选 参数类型 描述 inputs
创建专业大模型部署任务 平台支持部署预置的专业大模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 专业大模型部署参数说明
单击画布中的开始节点以打开节点配置页面。 开始节点的参数默认已配置，不支持修改开始节点的参数。 图1 开始节点配置图 步骤3：配置大模型节点 大模型节点提供了使用大模型能力，可在节点中配置已部署的模型，用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点，若无需配置，可跳过该步骤。
确定”智能添加推荐问题。推荐问题至多配置3条。 例如，“请告诉我您需要什么帮助？如：帮我预定会议室、帮我查询天气预报。 在“对话体验 > 追问”中，可选择是否开启“追问”功能，若开启，可填写追问prompt。 “对话体验”配置完成后，可在右侧“预览调试”中查看当前配置的开场白与推荐问题。 步骤7：调试应用
创建科学计算大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 科学计算大模型部署参数说明
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建专业大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio大
表1 预测大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“预测大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版，内置了默认的内容审核规则。
购买周期计费，适用于可预估资源使用周期的场景。 按需计费模式：按需付费是后付费方式，可以随时开通/关闭对应资源，支持秒级计费，系统会根据云服务器的实际使用情况每小时出账单，并从账户余额里扣款。 父主题： 计费FAQ
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建科学计算大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio
会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 升级模式 升级配置后，需重新启动该部署任务，升级模式即为重启的方式。 修改部署配置 完成创建预测大模型部署任务后，可以修改已部署模型的描述信息并升级配置，但不可替换模型。具体步骤如下： 登录ModelArts Studio大
可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
HTTP请求方法，表示服务正在请求操作类型，包括： GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时
oken计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 Token计算器 用户在部署服务的过程中，建议开启“安全护栏”功能，以保证内容的安全性。 父主题： 使用前必读
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
