检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
镜像复制 如果元模型来源于容器镜像，显示镜像复制功能状态。 动态加载 如果元模型来源于训练作业/对象存储服务，显示模型是否支持动态加载。 大小 模型的大小。 健康检查 如果元模型来源于对象存储服务/容器镜像，显示健康检查状态。
单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。
单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。
而且Resize操作需要在数据从host端复制到device端之前执行，下面是一个简单的示例，展示如何在推理应用时使用动态Shape。
图1 代码依赖修改前与修改后 将推理代码“modelarts-ascend/examples/AIGC/stable_diffusion/onnx_pipeline.py”也复制一份到该目录，名称改为“mslite_pipeline.py”，迁移后的推理代码中的pipeline需要修改为从复制的
可直接复制完整的SWR地址，或单击选择SWR构建好的镜像进行注册。 图2 选择镜像源 “架构”和“类型”：根据自定义镜像的实际框架选择。 注册后的镜像会显示在ModelArts“镜像管理”页面。 父主题： 制作自定义镜像用于创建Notebook
以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference。
调用API 待推理服务的状态变为“运行中”时，可单击操作列的“调用”，复制对应的接口代码，在本地环境或云端的开发环境中进行接口。
单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。
单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。
优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所用的数据和代码，所以在启动镜像以后需要手工把需要的文件复制进去。建议数据、代码和中间数据都放到"/cache"目录，防止正式运行时磁盘占满。
ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互，使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等，具体参见ModelArts CLI命令参考。
复制调用示例，修改参数后用于业务环境调用模型服务API。 Python示例代码如下所示： 使用普通requests包调用。
单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。
单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。
source_copy 否 String 镜像复制开关，仅当“model_type”为“Image”时有效。 取值范围： true：默认值，复制镜像模式，无法极速创建AI应用，SWR源目录中的镜像更改或删除不影响服务部署。
复制此OBS路径，此时输入路径应为“obs://xxx-project/data”，（此路径后面标记为输入路径）。 安装VS Code插件并登录 本地打开VS Code软件，单击左侧导航栏的图标，将插件包拖入到扩展区空白处，即可自动安装。 待左侧导航出现图标，表示插件安装完成。
在“访问受限”对话框，单击“一键复制”，保存权限缺失内容。 图4 访问受限提示 鼠标悬停至右上角账号处，单击“统一身份认证”。 在IAM控制台左侧导航栏，选择“权限管理 > 权限”。 在“权限”页面右上角，单击“创建自定义策略”。
复制生成的Token到编译构建服务即可。 Token生成后，请及时保存，下次刷新页面将无法读取，需要重新生成新Token。 注意填写有效的Token描述信息，避免误删除导致构建失败。 无需使用时及时删除Token，避免信息泄露。
复制选中的代码块。 粘贴选中的代码块。 执行选中的代码块。 终止kernel。 重启kernel。 重启kernel，然后重新运行当前Notebook的所有代码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
