检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中调整模型后，部署新版本模型能否保持原API接口不变？ ModelArts提供多版本支持和灵活的流量策略，您可以通过使用灰度发布，实现模型版本的平滑过渡升级。修改服务部署新版本模型或者切换模型版本时，原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。
镜像过大，卸载原来的包重新打包镜像，最终镜像会变小吗？ 不会，反而会变大。因为Docker镜像的层原因，当前的镜像是基于原来的镜像制作，而原来的镜像层数是无法改变的，层不变的情况下，大小是不变的，卸载包或者删除数据集，会新增镜像层，镜像反而会变大，这和传统概念的存储不一样。 父主题： Standard镜像相关
动态卸载OBS 功能介绍 卸载后，OBS存储中的对象保持不变，Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
作业环境不同，可能会导致文件绝对路径不一致，需要修改代码内容。推荐使用软链接的方式解决该问题，用户只需提前建立好软链接，代码中的地址可保持不变。 新建软链接： # ln -s 源目录/文件 目标目录/文件 # 例如 ln -s /mnt/sfs_turbo/data/coco /coco
"8" # 需求卡数，key保持不变。 limits: huawei.com/ascend-1980: "8" # 限制卡数，key保持不变。 volumeMounts:
_vllm.sh及SSL证书。此处以chatglm3-6b为例。 ascend_vllm代码包在Step9 构建推理代码已生成。 模型权重文件获取地址请参见表1。 推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key
中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在N
中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在N
metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变，后接vcjob的名字 namespace: default # 命名空间自选，需要和下边的vcjob处在同一命名空间
metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变，后接vcjob的名字 namespace: default # 命名空间自选，需要和下边的vcjob处在同一命名空间
中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在N
metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变，后接vcjob的名字 namespace: default # 命名空间自选，需要和下边的vcjob处在同一命名空间
metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变，后接vcjob的名字 namespace: default # 命名空间自选，需要和下边的vcjob处在同一命名空间
中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见表1。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权
中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在N
中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 若需要部署量化模型，请参考推理模型量化在No
赖包出现冲突？ ModelArts在线服务预测时，如何提高预测速度？ 在ModelArts中调整模型后，部署新版本模型能否保持原API接口不变？ ModelArts在线服务的API接口组成规则是什么？ ModelArts在线服务处于运行中时，如何填写request header和request
metadata: name: configmap1980-yourvcjobname # 前缀使用“configmap1980-”不变，后接vcjob的名字 namespace: default # 命名空间自选，需要和下边的vcjob处在同一命名空间
requests: huawei.com/ascend-1980: "1" # 需求卡数，key保持不变。Number of required NPUs. The maximum value is 16. You can add lines below
429; proxy_pass http://127.0.0.1:8501; } } 准备启动脚本。 启动前先创建ssl证书，然后启动TFServing的启动脚本。 启动脚本run.sh示例代码如下： #!/bin/bash mkdir -p /etc/nginx/ssl/server
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
