检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于
址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String
执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息，用于团队其他成员快速了解算子编排。 图4 增加并显示备注信息 对于搭建满意的清洗流程，可以“发布模板”，后续重复使用。发布后的模板，可以在“模
可以在不对模型能力进行更新的前提下，有效激发模型能力。 “提示词撰写” 和“提示工程”有什么区别 提示词撰写实际上是构建一些问答对数据，用于模型的训练，会更新模型参数，而提示工程不涉及模型训练，仅通过提示词的优化来达到提升模型输出效果的目标。 什么是好的提示词 好的提示词内容明
metadata参数说明 参数 是否必选 参数类型 描述 url 是 String assistant api调用地址。 authType 是 String 用于指定身份验证的类型，默认值“OAuth”，使用OAuth协议进行身份验证。 代码示例： { "tool_id": "reserve_meeting_room"
实例数 实例数越大，能够同时处理的请求数量越多。 高级配置 选择盘古-NLP-N4系列模型时显示，配置最大Token长度。 服务名称 在线服务的名称。 描述 在线服务的简要描述。 订阅提醒 勾选订阅提醒，并添加手机号/邮箱，系统将在训练任务完成或重要事件发生时，发送提醒。 表2 部署实例量与推理单元数关系
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题： 部署盘古大模型
tool_retriever中添加工具时，可以添加任意的元数据，python需要借助pickle将函数或类转换成字节流字符串存入CSS中，用于在tool_provider中把工具组装出来： from pydantic import BaseModel, Field import pickle
工作，如根据黑白名单做工具的过滤。 与上述的toolProvide呼应，在向toolRetriever中添加工具时，可以添加任意的元数据，用于在tooProvider中把工具组装出来： // 构造工具元数据 Map<String, Object> toolMetaData = new
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同，具体步骤请参考使用API调用模型。 父主题： 部署为边缘服务
中模型的收敛情况动态调整。 学习率衰减比率（learning_rate_decay_ratio） 0~1 0.01~0.1 学习率衰减比率用于设置训练过程中的学习率衰减的最小值。计算公式为：最小学习率=学习率*学习率衰减比率。 参数的选择没有标准答案，您需要根据任务的实际情况进行调整，以上建议值仅供参考。
userguide/clusterscheduling/dlug_scheduling_02_000001.html 父主题： 部署为边缘服务
池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 > 边缘部署”，查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”，可单击服务操作列的“启动”按钮，重新部署。 父主题： 部署为边缘服务
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。
终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要
/etc/hccn.conf，确保有如下回显网卡信息，则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时，需要有一个节点来提供NFS网盘服务，创建部署时通过NFS挂载的方式访问模型。 父主题： 部署为边缘服务
登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址
getAction())) { agentSession.setFinalAnswer(currentAction.getObservation()); return true; } return false;
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
