检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
SMN FullAccess 必选 VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台，单击“用户组>创建用户组”。
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
需填写虚拟私有云控制台子网详情中显示的“网络ID”。通过子网可提供与其他网络隔离的、可以独享的网络资源。
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
注意：创建的ECS虚拟机使用ARM镜像创建。 图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
登录服务器，激活python虚拟环境。 conda activate [env_name] # 例如使用conda管理python环境（需要确认环境已安装Anaconda） 在python环境中安装CLI工具。 pip install .
注意：创建的ECS虚拟机使用ARM镜像创建。 图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
SMN FullAccess 可选 VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。
your pool id", # 专属资源池id train_instance_type="modelarts.pool.visual.xlarge", # 专属池的虚拟子规格
是，demo.sh添加变量； export PYTORCH_NPU_ALLOC_CONF = expandable_segments:False 否，demo.sh添加变量，开启虚拟显存。
export VLLM_IMAGE_FETCH_TIMEOUT=100 export VLLM_ENGINE_ITERATION_TIMEOUT_S=600 # PYTORCH_NPU_ALLOC_CONF优先设置为expandable_segments:True # 如果有涉及虚拟显存相关的报错
scripts_llamafactory下修改启动脚本，其中{work_dir}为容器挂载路径 ①是否为PPO强化训练； 是，demo.sh添加变量； export PYTORCH_NPU_ALLOC_CONF = expandable_segments:False 否，demo.sh添加变量，开启虚拟显存
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。
pip install galleryformers 建议在虚拟环境（Python 3.8+）中安装AI Gallery SDK，以便管理不同的项目，避免依赖项之间产生兼容性问题。 构建自定义模型。 编写自定义配置类。
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。
vpc_id String 在线服务实例所在的虚拟私有云ID，服务自定义网络配置时返回。 subnet_network_id String 在线服务实例所在的子网的网络ID，服务自定义网络配置时返回。
export VLLM_IMAGE_FETCH_TIMEOUT=100 export VLLM_ENGINE_ITERATION_TIMEOUT_S=600 # PYTORCH_NPU_ALLOC_CONF优先设置为expandable_segments:True # 如果有涉及虚拟显存相关的报错
export VLLM_IMAGE_FETCH_TIMEOUT=100 export VLLM_ENGINE_ITERATION_TIMEOUT_S=600 # PYTORCH_NPU_ALLOC_CONF优先设置为expandable_segments:True # 如果有涉及虚拟显存相关的报错
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
