检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
推理部署安全责任 提供商 底层ecs相关的系统补丁修复 k8s的版本更新和漏洞修复 虚拟机OS的版本生命周期维护 ModelArts推理平台自身的安全合规性 容器应用服务加固 模型运行环境的版本更新和漏洞定期修复 客户侧 资源的授权，访问控制 保证应用的供应链安全，依赖和自身的安全性
SMN FullAccess 必选 VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台，单击“用户组>创建用户组”。
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
需填写虚拟私有云控制台子网详情中显示的“网络ID”。通过子网可提供与其他网络隔离的、可以独享的网络资源。
vpc_id String 实例所在虚拟私有云ID。 endpoints Array of EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。
使用预置镜像制作自定义镜像用于训练模型 使用预置框架构建自定义镜像原理介绍 如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的训练作业；但是随着业务逻辑的逐渐复杂，您期望可以基于预置框架修改或增加一些软件依赖的时候，可以使用预置框架构建自定义镜像，即在创建训练作业页面选择预置框架名称后
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。
登录服务器，激活python虚拟环境。 conda activate [env_name] # 例如使用conda管理python环境（需要确认环境已安装Anaconda） 在python环境中安装CLI工具。 pip install .
注意：创建的ECS虚拟机使用ARM镜像创建。 图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
注意：创建的ECS虚拟机使用ARM镜像创建。 图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
注意：创建的ECS虚拟机使用ARM镜像创建。 图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
路由加速的原理是改变rank编号，所以代码中对rank的使用要统一，如果rank的使用不一致会导致训练异常。 操作步骤 开启ModelArts Lite资源池对应的CCE集群的cabinet插件。
your pool id", # 专属资源池id train_instance_type="modelarts.pool.visual.xlarge", # 专属池的虚拟子规格
SMN FullAccess 可选 VPC虚拟私有云 子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。
vpc_id String 在线服务实例所在的虚拟私有云ID，服务自定义网络配置时返回。 subnet_network_id String 在线服务实例所在的子网的网络ID，服务自定义网络配置时返回。
pip install galleryformers 建议在虚拟环境（Python 3.8+）中安装AI Gallery SDK，以便管理不同的项目，避免依赖项之间产生兼容性问题。 构建自定义模型。 编写自定义配置类。
虚拟私有云：默认为CCE集群所在VPC网络，不可修改。 节点子网：选择同一VPC网络下的子网作为节点子网，新创建的节点将会使用该子网资源。 关联安全组：用于指定节点池创建出来的节点使用的安全组。最多选择4个安全组。节点安全组需要放通一些端口以保障节点通信。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
