检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux
监控Lite Cluster资源：ModelArts支持使用AOM和Prometheus对资源进行监控，方便您了解当前的资源使用情况。 释放Lite Cluster资源：针对不再使用的Lite Cluster资源，您可以释放资源。 图1 Lite Cluster资源管理介绍 父主题：
Interface (CRI) 与容器引擎交互，以管理镜像和容器。其中Containerd调用链更短，组件更少，更稳定，占用节点资源更少，Containerd和Docker差异对比请见容器引擎。 若CCE集群版本低于1.23，仅支持选择Docker作为容器引擎。若CCE集群版本大于等于1.2
管理Lite Cluster资源池标签 通过给资源池添加标签，可以标识云资源，便于快速搜索资源池。 在ModelArts管理控制台的左侧导航栏中选择“专属资源池 > 弹性集群”。 在资源池列表中，单击资源池名称进入资源池详情页面。 在资源池详情页面，单击“标签”页签查看标签信息。
行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖镜像服务SWR FullAccess权限。 SWR OperateAccess 必选 密钥管理服务 当子用户使用ModelArts No
义”修改模型的配置信息。 “部署类型” 选择此AI应用支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处只选择在线服务，那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 选填参数，指定模型的启动命令，您可以自定义该命令。
（可选）配置镜像预热 Lite Cluster资源池支持镜像预热功能，镜像预热可实现将镜像提前在资源池节点上拉取好，在推理及大规模分布式训练时有效缩短镜像拉取时间。本文将介绍如何配置镜像预热功能。 操作步骤 单击资源池名称，进入资源池详情。 单击左侧“配置管理”。 图1 配置管理
超分情况下会存在实例终止的风险。如1个8U的节点上同时启动了6个2U的实例，如果其中一个实例CPU使用增大到超过节点的上限（8U）时，k8S会将使用资源最多的实例终止掉。 因此超分会带来实例重启的风险，请不要超分使用。 父主题： 更多功能咨询
OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖镜像服务SWR FullAccess权限。 SWR OperateAccess 必选 CES云监控 授予子用户使用CES云监控服务的权限。通过CES云监
定义一个容器名称。 {image_id} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 Step5 进入容器安装推理依赖软件 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name}
被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux
被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux
动态挂载OBS 功能介绍 在运行中的Notebook实例，支持将“OBS并行文件系统”挂载到实例中指定的文件目录，挂载后可以在容器中以文件系统操作方式完成OBS并行文件系统对象的读写。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
Lite Cluster 资源池创建失败的原因与解决方法？ Cluster资源池节点故障如何定位 特权池信息数据显示均为0%如何解决？ 重置节点后无法正常使用？
如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs
有损失。 如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化或使用SmoothQuant量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm
、代码放到容器镜像里，避免频繁地构建容器镜像。 容器已经能满足隔离需求，不建议在容器内再创建多个conda env。 导出conda环境。 启动线下的容器镜像： # run on terminal docker run -ti ${your_image:tag} 在容器中输入如下命令，得到pytorch
Lite Cluster Cluster资源池如何进行NCCl Test？
Standard使用run.sh脚本实现OBS和训练容器间的数据传输 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
--backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地址与"/g
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
