检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PyTorch迁移精度调优 精度问题概述 精度调优总体思路 精度调优前准备工作 msprobe精度分析工具使用指导 父主题: GPU训练业务迁移至昇腾的通用指导
与ModelArts是否在同一区域。 没有该OBS桶的访问权限。请确认操作Notebook的账号有权限读取OBS桶中的数据。具体操作请参见检查您的账号是否有该OBS桶的访问权限。 OBS文件被删除。请确认待上传的OBS文件是否存在。 异常场景2 图6 文件上传失败 可能原因: 文
件夹中。 下载完成后,将数据上传至SFS相应目录中。由于数据集过大,推荐先通过obsutil工具将数据集传到OBS桶后,再将数据集迁移至SFS。 在本机机器上运行,通过obsutil工具将本地数据集传到OBS桶。 # 将本地数据传至OBS中 # ./obsutil cp ${数据集所在的本地文件夹路径}
ok调试方法与使用Notebook进行代码调试、使用Notebook进行代码调试相同)。 创建训练任务 登录ModelArts管理控制台,检查当前账号是否已完成访问授权的配置。如未完成,请参考使用委托授权。针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。 在左侧导航栏中选择“模型训练
通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook 管理Notebook实例 使用CodeLab免费体验Notebook ModelArts CLI命令参考 在Notebook中使用Moxing命令
GPU推理业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 推理业务迁移评估表 父主题: GPU业务迁移至昇腾训练推理
在“运行时长控制”选择是否指定运行时长。 不限时长:不限制作业的运行时长,AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长:设置作业运行几小时后停止,当AI Gallery工具链服务运行时长达到指定时长时,系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明:
单击数据集名称左侧的,展开数据集,查看“导入状态”,导入状态为“导入完成”代表示数据集导入成功,且数据集正常。 数据集下载完成后,请务必先检查数据集是否已经导入成功,如果数据集还未成功导入,创建自动学习物体检测项目后数据标注节点会报错。 图2 数据标注节点报错 步骤三:创建自动学习物体检测项目
String 团队标注任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 checking_task_id 是 String 正在检查的任务ID。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 checking_stats CheckTaskStats
“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。
"0";”以禁用自动更新,然后保存文件并退出。 将当前内核版本锁定。 要禁止特定的内核版本更新,您可以使用“apt-mark”命令将其锁定。 首先,检查当前的内核版本: uname -r 例如,如果内核版本是“5.4.0-42-generic”,您需要锁定所有与此版本相关的软件包。可执行以下命令:
表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gradient_accumulation_steps:
推理接口进行配置。HTTPS协议的示例可参考https示例。 (可选)服务对外提供的端口,提供URL路径为“/health”的健康检查服务(健康检查的URL路径必须为“/health”)。 OBS模型包规范 模型包的名字必须为model。模型包规范请参见模型包规范介绍。 文件大小规范
Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker-engine
表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gradient_accumulation_steps:
gid=100(ma-group) groups=100(ma-group) 安装和配置OBS命令行工具 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。
品),并给出置信度最高的5类商品的置信度得分。 步骤1:准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS