检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Snt9B。推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.906-xxx.z
2409-aarch64-snt9b-20241114095658-d7e26d8 cann_8.0.rc3 pytorch_2.3.1 驱动23.0.6 从SWR拉取 不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。 步骤一：检查环境 请参考D
Snt9B。训练至少需要单机8卡，推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.906-xxx.z
使用自定义引擎在ModelArts Standard创建模型 使用大模型在ModelArts Standard创建模型部署在线服务 第三方推理框架迁移到ModelArts Standard推理自定义引擎 ModelArts Standard推理服务支持VPC直连的高速访问通道配置 ModelArts
三方大模型，包名：AscendCloud-3rdLLM PyTorch框架下支持如下模型训练： llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b PyTorch框架下支持如下模型推理： llama-7B
gpu.memoryUtil*100, gpu.memoryTotal)) 注：用户在使用pytorch/tensorflow等深度学习框架时也可以使用框架自带的api进行查询。 父主题： 更多功能咨询
什么是区域、可用区？ 在ModelArts中如何查看OBS目录下的所有文件？ ModelArts数据集保存到容器的哪里？ ModelArts支持哪些AI框架？ ModelArts训练和推理分别对应哪些功能？ 如何查看账号ID和IAM用户ID ModelArts AI识别可以单独针对一个标签识别吗？
当前仅支持PyTorch和MindSpore AI框架，如果MindSpore要进行多机分布式训练调试，则每台机器上都必须有8张卡。 本文档提供的调测代码中涉及到的OBS路径，请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的，不同的AI框架之间，整体流程是完全相同的，只需要修改个别的参数即可。
nnect to Host in New Window按钮。 图5 打开开发环境 在新打开的选择Notebook运行环境页面中，选择“Linux”。 图6 选择Notebook运行环境 图7 开发环境远程连接成功 Step3 安装云端Python插件 在新打开的VS Code界面
如何查询自定义镜像的cuda和cudnn版本？ Moxing安装文件如何获取？ 如何使用soft NMS方法降低目标框堆叠度 多节点训练TensorFlow框架ps节点作为server会一直挂着，ModelArts是怎么判定训练任务结束？如何知道是哪个节点是worker呢？ 训练作业的自定义镜像如何安装Moxing？
查询训练作业标签 获取训练作业事件列表 创建训练作业镜像保存任务 查询训练作业镜像保存任务 获取训练作业支持的公共规格 获取训练作业支持的AI预置框架
在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
ll登录，直接页面单击“CloudShell登录”跳转到CloudShell页面，输入专属资源池信息登录服务器。具体步骤请参见远程登录Linux弹性云服务器（CloudShell方式）。 进入4获取的“下载位置”，执行如下命令使用OpenSSL工具进行校验工具包。 openssl
系。 常见问题 为什么要下线模型转换？ ModelArts模型转换向AI开发者提供了便捷的模型转换页面，将Tensorflow和Caffe框架的模型格式转换为MindSpore的模型格式，即模型后缀为.om，使之能在昇腾硬件中进行推理。由于产品演进规划，后续昇腾硬件推理时主要使用后缀为
在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
2409-aarch64-snt9b-20241112192643-c45ac6b SWR上拉取。 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 步骤一 检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开
2409-aarch64-snt9b-20241112192643-c45ac6b SWR上拉取。 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 步骤一：检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开
节点异常重启 被主动停止的节点 在训练进程结束后，该日志会生成到训练容器中。其中，使用MindSpore预置框架训练的device日志会自动上传到OBS，使用其他预置框架和自定义镜像训练的device日志如果需要自动上传到OBS，则需要在代码中配置ASCEND_PROCESS_LOG_PATH，具体请参考如下示例。
提供节点级、作业级、容器级，多级故障恢复，保障千卡作业稳定训练 多种资源形态 集群模式，开箱即提供好Kubernetes集群，直接使用，方便高效 节点模式，客户可采用开源或自研框架，自行构建集群，更强的掌控力和灵活性 零改造迁移 提供业界通用的k8s接口使用资源，业务跨云迁移无压力 SSH直达节点和容器，一致体验
LM、Yi、Baichuan等常见开源大模型的预训练、SFT微调、LoRA微调训练过程。 面向熟悉代码编写和调测的AI工程师，同时熟悉Linux和Docker容器基础知识 主流开源大模型基于DevServer适配PyTorch NPU推理指导 本案例基于ModelArts Lite
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
