检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 服务接口是否升级为WebSocket。部署服务时，默认值为false；更新服务配置时，默认值为上一次设置的值。 false：不升级为WebSocket。 true：升级为WebSocket。开启后，不支持修改。开启WebSocket时，不支持同时设置“服务流量限制”。
修改在线服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换模型的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
在ModelArts创建分布式训练时如何设置NCCL环境变量？ ModelArts训练平台预置了部分NCCL环境变量，如表1所示。这些环境变量建议保持默认值。 表1 预置的环境变量 环境变量 说明 NCCL_SOCKET_IFNAME 指定通信的网卡名称。 NCCL_IB_GID_INDEX 系统设置的默认值为3，表示使用RoCE
完成资源配置后，单击“继续运行”，在弹框中确认继续运行后，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。 图1 服务测试 下面的测试，是您在自动学习预测
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session
String 在线服务实例所在的虚拟私有云ID，服务自定义网络配置时返回。 subnet_network_id String 在线服务实例所在的子网的网络ID，服务自定义网络配置时返回。 security_group_id String 在线服务实例所在的安全组，服务自定义网络配置时返回。
Turbo界面绑定后端OBS存储后设置权限为777。 “服务流量限制” - 服务流量限制是指每秒内一个服务能够被访问的次数上限。您可以根据实际需求设置每秒流量限制。 “升级为WebSocket” - 设置在线服务是否部署为WebSocket服务。了解在线服务支持WebSocket，请参
在遇到资源不足的情况时，ModelArts会进行三次重试，在服务重试期间，如果有资源释放出来，则服务可以正常部署成功。 如果三次重试后依然没有足够的资源，则本次服务部署失败。参考以下方式解决： 如果是在公共资源池部署服务，可等待其他用户释放资源后，再进行服务部署。 如果是在专属资源池部署服务，在满足模型需求的前提下
使用自定义镜像创建在线服务，如何修改默认端口 当模型配置文件中定义了具体的端口号，例如：8443，创建AI应用没有配置端口（默认端口号为8080），或者配置了其他端口号，均会导致服务部署失败。您需要把AI应用中的端口号配置为8443，才能保证服务部署成功。 修改默认端口号，具体操作如下：
Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 选择“我的服务”页签。 单击服务名称，进入部署模型服务详情页面，可以查看服务信息。 “详情”：可以查看服务的基本信息，包括服务、模型、资源等设置信息。 “监控”：可以查看服务监控和资源监控信息。
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
此时无论DH Cient是否关闭，服务器都可以获取分配IP。 当服务器没有网卡配置文件时，DH Client开启，此时服务器会分配私有IP。如果关闭DH Client，则服务器无法获取私有IP。 图2 查看NetworkManager配置 图3 查看网络配置 命令“yum update -y”或“yum
删除服务 删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式
服务管理 通过 patch 操作对服务进行更新 查询服务监控信息 查询服务列表 部署服务 查询支持的服务部署规格 查询服务详情 更新服务配置 删除服务 查询专属资源池列表 查询服务事件日志 启动停止边缘节点服务实例 查询服务更新日志 添加资源标签 删除资源标签 查询推理服务标签
服务预测 服务预测失败 服务预测失败，报错APIG.XXXX 在线服务预测报错ModelArts.4206 在线服务预测报错ModelArts.4302 在线服务预测报错ModelArts.4503 在线服务预测报错MR.0105 Method Not Allowed 请求超时返回Timeout
无 请求示例 如下删除服务ID为xxxxxx的模型服务为例。 DELETE https://endpoint/v1/{project_id}/services/xxxxxx 响应示例 状态码： 200 删除服务成功 { } 状态码 状态码 描述 200 删除服务成功 错误码 请参见错误码。
将Notebook的Conda环境迁移到SFS磁盘 本文介绍了如何将Notebook的Conda环境迁移到SFS磁盘上。这样重启Notebook实例后，Conda环境不会丢失。 步骤如下: 创建新的虚拟环境并保存到SFS目录 克隆原有的虚拟环境到SFS盘 重新启动镜像激活SFS盘中的虚拟环境
修改批量服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换模型的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
