检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PyTorch：2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个推理镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必
PyTorch：2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个推理镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。 注意：CPU架构必
删除服务 删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式
ModelArts支持将模型部署为哪些类型的服务？ 支持在线服务、批量服务和边缘服务。 父主题： 功能咨询
"application/json" } } ] 将AI应用部署为在线服务 参考部署为在线服务将AI应用部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题： 制作自定义镜像用于推理
该镜像无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 说明： 建议写清楚模型的使用方法，方便使用者更好的完成训练、推理任务。 表2 任务类型支持的AI Gallery工具链服务 任务类型 微调大师 在线推理服务 AI应用 文本问答/文本生成 支持 支持 支持
"application/json" } } ] 将AI应用部署为在线服务 参考部署为在线服务将AI应用部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题： Standard推理部署
VPC直连的高速访问通道示意图 准备工作 使用专属资源池部署在线服务，服务状态为“运行中”。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2
规范，否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当托管的是自定义镜像时，上传的模型文件要满足自定义镜像规范，否则该镜像无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当文件状态变成“上传成功”表示数据文件成功上传至AI
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
Standard上运行GPU多机多卡训练任务 操作流程 准备工作： 购买服务资源（VPC/SFS/OBS/SWR/ECS） 配置权限 创建专属资源池（打通VPC） ECS服务器挂载SFS Turbo存储 在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具 （可选）工作空间配置
查询操作。 根据资源名称在云服务的控制台查找资源并删除。 在ModelArts管理控制台，选择“部署上线 > 在线服务”。 在服务列表上方搜索框中，搜索条件选择“资源名称”，输入2中的在线服务名称，找到该资源。 单击操作列“更多 > 停止”，对在线服务执行停止操作。 按需计费资源
configs结构和transformer configs 服务配置，不设置此参数时，表示不更新。关于configs如何生成，请参见部署在线服务。 更新服务配置时，存在以下约束： 参数status指定的目标状态不允许和当前服务状态相同。 当前服务状态是deploying（部署中）、stoppi
出现此问题，一般是因为后台服务故障导致的，建议稍等片刻，然后重新部署在线服务。如果重试超过3次仍无法解决，请获取如下信息，并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面，在服务列表中找到自动学习任务中部署的在线服务，自动学习部署的服务都是以“exeML
部署为一个在线服务，如果由于配额限制（即在线服务的个数超出配额限制），导致无法将模型部署为服务。此时会在自动学习项目中提示“部署上线任务提交失败”的错误。 修改建议 方法1：进入“部署上线>在线服务”页面，将不再使用的服务删除，释放资源。 方法2：如果您部署的在线服务仍需继续使用，建议申请增加配额。
上传镜像完成后，返回容器镜像服务控制台，在“我的镜像”页面，执行刷新操作后可查看到对应的镜像信息。 为什么使用客户端上传镜像失败？ 上传数据和算法至SFS ECS服务器已挂载SFS，请参考在ECS服务器挂载SFS Turbo存储。 已经在ECS中设置权限，请参考在ECS中设置ModelArts用户可读权限。
自动学习中部署上线是将模型部署为什么类型的服务？ 自动学习中部署上线是将模型部署为在线服务，您可以添加图片或代码进行服务测试，也可以使用URL接口调用。 部署成功后，您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中，查看到正在运行的服务。您也可以在此页面停止服务或删除服务。 父主题： 部署上线
callbacks suppressed 问题现象 弹性文件服务（Scalable File Service，SFS）提供按需扩展的高性能文件存储（NAS），可以在裸金属服务器中通过网络协议挂载使用，SFS支持NFS和CIFS的网络协议。在使用裸金属服务器时， 将数据放在SFS盘中， 并发建立多个
署了一个免费在线服务，需要先将其删除才能部署新的免费在线服务）。 图7 部署模型 完成服务部署后，返回在线服务页面列表页，等待服务部署完成，当服务状态显示为“运行中”，表示服务已部署成功。 步骤六：预测结果 在“在线服务”页面，单击在线服务名称，进入服务详情页面。 单击“预测”页
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
