检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Request功能 在新建的窗口中填入WebSocket连接信息： 左上角选择Raw，不要选择Socket.IO（一种WebSocket实现，要求客户端跟服务端都要基于Socket.IO），地址栏中填入从服务详情页“调用指南”页签中获取“API接口调用公网地址”后面的地址。如果自定义
推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。 支持FP16和BF16数据类型推理。 DevServer驱动版本要求23.0.6。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的DevServer。推荐使用“西南-贵阳一”Region上的资源和Ascend
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 资源规格要求 推理部署推荐使用DevServer资源和Ascend Snt9B单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc1 PyTorch pytorch_2.1.0
当使用自定义镜像进行模型微调时，“训练任务类型”默认为“自定义”，且不支持修改。 准备数据 本地上传数据需要确保数据已按照数据集要求完成编排。如果是自定义模型，此处的数据集要求即为模型文件“dataset_readme.md”里的内容。 单个文件最大5GB，所有文件总大小不超过50G。 在微调工作流的“数据准备”环节选择数据集。
Duo推理卡计算资源，部署Yolov8 Detection模型推理的详细过程。 本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Atlas 300I Duo。 表1 资源规格要求 名称 版本 资源规格 Atlas 300I Duo PyTorch 2.1.0
use_beam_search 否 False Bool 是否使用beam_search替换采样。 约束与限制：使用该参数时，如下参数需按要求设置： n>1 top_p = 1.0 top_k = -1 temperature = 0.0 presence_penalty 否 0
模型包里面必须包含“model”文件夹，“model”文件夹下面放置模型文件，模型配置文件，模型推理代码文件。 模型文件：在不同模型包结构中模型文件的要求不同，具体请参见模型包结构示例。 模型配置文件：模型配置文件必须存在，文件名固定为“config.json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
5.0版本。 支持FP16和BF16数据类型推理。 适配的CANN版本是cann_8.0.rc3。 DevServer驱动版本要求23.0.6。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的DevServer。推荐使用“西南-贵阳一”Region上的资源和Ascend
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
模型训练有多种训练框架来源，具体可以参考准备模型训练镜像。 ModelArts Standard平台提供了模型训练常用的预置框架，可以直接使用。 当预置框架不满足训练要求时，支持用户构建自定义镜像用于训练。 准备训练数据 训练数据除了训练数据集，也可以是预测模型。在创建训练作业前，需要先准备好训练数据。 当
本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc3。 DevServer驱动版本要求23.0.6 PyTorch版本：2.1.0 确保容器可以访问公网。 文档更新内容 6.3.908版本相对于6.3.907版本新增如下内容：
本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.RC3。 DevServer驱动版本要求23.0.6 PyTorch版本：2.2.0 Python版本：3.10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。
为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 修改目录权限，上传代码和数据到宿主机时使用的是root用户，如用ma-user用户训练，此处需要执行如下命令统一文件权限。
为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 修改目录权限，上传代码和数据到宿主机时使用的是root用户，如用ma-user用户训练，此处需要执行如下命令统一文件权限。
gm-exporter/dcp-metrics-included.csv，指标采集对象详见dcgm-exporter。如果采集对象不能满足要求，可通过定制镜像或挂载的方式使用自定义配置。 等待约1分钟，执行下面的命令获取GPU指标： curl localhost:9400/metrics
为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 修改目录权限，上传代码和数据到宿主机时使用的是root用户，如用ma-user用户训练，此处需要执行如下命令统一文件权限。
为docker镜像的ID，在宿主机上可通过docker images查询得到。 --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。 修改目录权限，上传代码和数据到宿主机时使用的是root用户，如用ma-user用户训练，此处需要执行如下命令统一文件权限。
启动AI应用 上传AI应用的运行文件“app.py”。在AI应用详情页，选择“应用文件”页签，单击“添加文件”，进入上传文件页面。 运行文件的开发要求请参见准备AI应用运行文件app.py。 上传单个超过5GB的文件时，请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
