检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。
VLLM_IMAGE_FETCH_TIMEOUT图片下载时间环境变量。 VLLM_ENGINE_ITERATION_TIMEOUT_S：服务间隔最大时长，超过会报timeout错误。 --image-input-type：图像输入模式，pixel_values and image_features; 当前流程以pix
VLLM_IMAGE_FETCH_TIMEOUT图片下载时间环境变量。 VLLM_ENGINE_ITERATION_TIMEOUT_S：服务间隔最大时长，超过会报timeout错误。 PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存
AI应用对于镜像大小限制。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。 创建AI应用操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“AI应用”，进入AI应用列表页面。 单击左上角的“创建应用”，进入“创建应用”页面。 在“创建应用”页面，填写相关参数。
例如：training_data。 创建VPC 虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS
例如：training_data。 创建VPC 虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS
使用时段，将自动转为按需收费。 关于套餐包的约束限制、资源包抵扣顺序和套餐包余量预警请参见套餐包。 购买操作如下： 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts
者能够调用API接口。 AppCode的获取方法：单击AI Gallery页面右上角“我的Gallery”，在左侧菜单栏选择“鉴权管理”。在“鉴权管理”中单击“创建AppCode”，填写描述信息后，即可在列表中显示新增的AppCode。 说明： 推理服务只能使用计算规格所在区域的AppCode进行认证鉴权。
单击“确定”，自动跳转至AI Gallery的个人中心“我的下载”页签。等待五分钟左右下载完成即可。 图2 下载数据集 订阅工作流 登录ModelArts管理控制台，左侧菜单栏选择“开发空间>Workflow”，进入Workflow详情页。 在详情页的Workflow列表区域，单击“前往AI Gallery订阅”。
版本名称}，局点信息可以参考下图查看，组织名称在“容器镜像服务>组织管理”创建。 注册镜像 在ModelArts Console上注册镜像 登录ModelArts控制台，在左侧导航栏选择“镜像管理”，进入镜像管理页面。 单击“注册镜像”，镜像源即为步骤1中推送到SWR中的镜像。请
数据标注任务中，一般由一个人完成，但是针对数据集较大时，需要多人协助完成。ModelArts提供了团队标注功能，可以由多人组成一个标注团队，针对同一个数据集进行标注管理。 团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。 不同类型数据集支持的功能列表
当需要永久保存日志时，需要准备好存放日志的OBS路径，OBS桶必须和MaaS服务在同一个Region下。 创建调优任务 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts
镜像上传后，可在SWR中查看已上传的镜像。但在ModelArts中还需要完成镜像注册后，才能在后续的Notebook中使用。 访问ModelArts，在镜像管理中选择注册镜像，如图所示： 图4 注册镜像 选择已上传的镜像源，架构选择ARM，类型勾选CPU和ASCEDN，完成镜像注册。 图5 选择已上传的镜像源
Turbo的数据存储方案，不适用于仅OBS存储方案。通过OBS对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3，驱动版本是23
com/deep-learning/tf-1.13.2:latest”即为此自定义镜像的“SWR_URL”。 在ModelArts上创建训练作业。 登录ModelArts管理控制台。 在左侧导航栏中，选择“模型训练 > 训练作业”进入训练作业列表。 单击“创建训练作业”，进入创建训练作业页面，填写作业信息，创建
else_then_steps=["training_job_2"], ) # 构建一个OutputStorage对象，对训练输出目录做统一管理 storage = wf.data.OutputStorage(name="storage_name", title="title_info"
npu-smi info -t board -i 1 | egrep -i "software|firmware" #查看驱动和固件版本 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0
npu-smi info -t board -i 1 | egrep -i "software|firmware" #查看驱动和固件版本 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0
Step5 在ModelArts上创建Notebook并调试 将上传到SWR上的镜像注册到ModelArts的镜像管理中。 登录ModelArts管理控制台，在左侧导航栏中选择“镜像管理 ”，单击“注册镜像”，根据界面提示注册镜像。注册后的镜像可以用于创建Notebook。 在Notebo
下，永久保存日志开关需要用户手动开启。 仅专属资源池支持使用Cloud Shell登录训练容器，且训练作业必须处于“运行中”状态。 在训练管理的“创建算法”页面，来源于AI Gallery中订阅的算法不支持另存为新算法。 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。 仅
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
