检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Lite-Cluster 面向k8s资源型用户,提供k8s原生接口,用户可以直接操作资源池中的节点和k8s集群。 适用于已经自建AI开发平台,仅有算力需求的用户。要求用户具备k8s基础知识和技能。
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
适配NPU推理指导(6.3.906) SDXL&SD1.5 WebUI基于Lite Cluster适配NPU推理指导(6.3.906) SDXL基于Standard适配PyTorch NPU的Finetune训练指导(6.3.905) SDXL基于DevServer适配PyTorch
用户自定义镜像中/home/ma-user目录,属主和用户组不是ma-user和ma-group; 用户自定义镜像必须满足用户目录/home/ma-user权限为750,不能为其他权限; 用户自定义镜像使用远程SSH功能,OpenSSH版本要兼容或高于8.0; 用户制作的自定义镜像,在本地执行docker
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
Lite Cluster 只支持对状态为“运行中”的Lite Cluster资源池进行扩缩容,且不能缩容到0。 对于新建的Lite Cluster资源池,支持在新建时资源池指定容器引擎空间大小。
图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker 配置IP转发,用于容器内的网络访问。
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
功能介绍 Standard功能介绍 MaaS大模型即服务平台功能介绍 Lite Cluster&Server介绍 AI Gallery功能介绍
--host ${docker_ip}:服务部署的IP地址,${docker_ip}替换为宿主机实际的IP地址。 --port:推理服务端口。
}:服务部署的IP地址,${docker_ip}替换为宿主机实际的IP地址。
--host ${docker_ip}:服务部署的IP,${docker_ip}替换为宿主机实际的IP地址。 --port:推理服务端口8080。 --tokenizer:tokenizer路径,HuggingFace的权重路径。
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
(本地使用硬盘挂载或者docker cp,在ModelArts上使用OBSutil) 可以用一个run脚本把整个流程包起来。run.sh脚本的内容可以参考如下示例: #!
检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。