检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见推理基础镜像列表。 推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。
公共参数 状态码 错误码 获取项目ID和名称 获取帐号名和帐号ID 获取用户名和用户ID
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.908版本 基础镜像 swr.cn-southwest-2
的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Regio
groups=100(ma-group) 安装和配置OBS命令行工具 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3.908版本 基础镜像 swr.cn-southwest-2
Toolkit提交训练作业时,训练作业详情页的“日志”页签存在报错“errorCode:NoSuchKey”。 原因分析 检查配置后发现,是镜像版本太低,旧版的镜像与当前训练作业不兼容。 解决措施 使用PyCharm Toolkit提交训练作业时,常用框架选择训练作业支持的版本,具体支持哪些
net.ipv4.ip_forward 步骤二:获取基础镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三:启动容器镜像 启动容器镜像,启动前可以根据实际需要增加修改参数。 docker run
AI开发流程科普视频 特性讲解 昇腾云服务 产品介绍 03:55 了解什么是昇腾云服务 华为云ModelArts服务视频 训练作业容错检查功能介绍 04:48 了解什么是训练作业容错检查功能 华为云ModelArts服务视频 高可用冗余节点功能介绍 03:07 了解什么是高可用冗余节点功能
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像(可选) 准备数据(可选) 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.912)
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像(可选) 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.911)
Standard功能介绍 Standard自动学习 Standard Workflow Standard数据管理 Standard开发环境 Standard模型训练 Standard模型部署 Standard资源管理 Standard支持的AI框架 父主题: 功能介绍
准备模型训练代码 预置框架启动文件的启动流程说明 开发用于预置框架训练的代码 开发用于自定义镜像训练的代码 自定义镜像训练作业配置节点间SSH免密互信 父主题: 使用ModelArts Standard训练模型
推理服务的端到端运维流程 算法开发阶段,先将业务AI数据存放到对象存储服务(OBS)中,接着通过ModelArts数据管理进行标注和版本管理,然后通过训练获得AI模型结果,最后通过开发环境构建模型镜像。 服务运维阶段,先利用镜像构建模型,接着部署模型为在线服务,然后可在云监控服务(CE
Ascend-vLLM版本 本方案支持vLLM的v0.6.3版本。 镜像版本 本方案中用到的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.co
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
ModelArts服务提供镜像支持多种操作系统,内置AI场景相关驱动和软件,预置ModelArts自定义OS优化组件,当前支持的镜像请参考Lite Server算力资源和镜像版本配套关系。 私有镜像 用户基于外部镜像文件或裸金属服务器创建的个人镜像,仅用户自己可见。包含操作系统
如果引擎版本选择“自定义”,则需要配置“镜像”参数,选择自定义镜像用于训练作业。 镜像 仅当预置框架的引擎版本选择“自定义”时才显示该参数,且是必填参数。 容器镜像地址的填写支持如下方式。 选择自有镜像或他人共享的镜像:单击右边的“选择”,从容器镜像中选择用于训练的容器镜像。所需镜像需要提前上传到SWR服务中。
如何上传本地文件至Notebook? Notebook中JupyterLab的文件上传方式请参见上传本地文件至JupyterLab。 父主题: 文件上传下载
单机单卡 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 监控资源 父主题: 调试与训练