检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rch:2.1.0-cann7.0.0”即为此自定义镜像的“SWR_URL”。 在ModelArts上创建训练作业 登录ModelArts管理控制台,检查当前账号是否已完成访问授权的配置。如未完成,请参考快速配置ModelArts委托授权。针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。
待几分钟。详细操作请参考保存Notebook镜像环境。 图7 保存镜像 查看所保存的镜像 保存后的镜像可以在ModelArts控制台“镜像管理”页面查看到该镜像详情。单击镜像的名称,进入镜像详情页,可以查看镜像版本/ID,状态,资源类型,镜像大小,SWR地址等。 步骤5:使用SDK提交训练作业
del_path}同时使用。 --use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。
del_path}同时使用。 --use-v2-block-manager:vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引,如果不使用该功能,则无需配置。注意:如果使用投机推理功能,必须开启此参数。 --served-model-name:vllm服务后台id。