检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
instruction：描述模型应执行的任务。指令中的每一条都是唯一的。 input：任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令，即指令为 instruction\ninput。 output：生成的指令的答案。 system：系统提
本小节介绍Notebook开发环境、训练任务实例的目录挂载情况（以下挂载点在保存镜像的时候不会保存）。详情如下： Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache
Arts所需的权限。避免IAM子账号因权限问题导致使用时出现异常。 ModelArts Standard自动学习案例 表1 自动学习样例列表 样例 对应功能 场景 说明 口罩检测 自动学习 物体检测 基于AI Gallery口罩数据集，使用ModelArts自动学习的物体检测算法，识别图片中的人物是否佩戴口罩。
配额与限制 本节介绍ModelArts涉及的相关云服务的配额限制，帮助用户查看和管理自己的配额。 什么是配额 配额是在某一区域下最多可同时拥有的某种资源的数量。 华为云为防止资源滥用，对云服务每个区域的用户资源数量和容量做了配额限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。
]，列表中元素model_instance对象即为本章节描述的模型管理，可调用模型接口。 支持按照检索参数查询模型列表，返回满足检索条件的模型list，检索参数如表1所示。 在查询列表时，返回list的同时，会打印模型列表的详细信息，如表2和表3所示。 当前支持最大获取150个模型对象。
in_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/
ft_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/
使用时长 专属资源池 专属资源池的费用已在购买时支付，运行Notebook实例时不再收费。 专属资源池的费用请参考专属资源池计费项。 - - 存储资源 云硬盘EVS 用于存储运行Notebook实例时产生的数据。 磁盘规格默认为5GB，从Notebook实例创建成功起，直至删除成功，每GB按照规定费用收费。
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的CANN版本是cann_8.0.rc2，驱动版本是23
通过自定义镜像创建模型失败 问题现象 通过用户自定义镜像创建模型失败。 原因分析 可能原因如下： 导入模型使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号，没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像 处理方法
”。 启动文件 选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。 超参 当资源规格为单机多卡时，需要指定超参world_size和rank。 当资源规格为多机时（即实例数大于 1），无需设置超参world_
并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
ra_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/
906版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1
一个预训练的文本到图像模型CogView2，还提出了多帧速率分层训练策略，以更好地对齐文本和视频剪辑。作为一个开源的大规模预训练文本到视频模型，CogVideo性能优于所有公开可用的模型，在机器和人类评估方面都有很大的优势。 方案概览 本方案介绍了在ModelArts的DevSe
费。 deploying：部署中，服务正在部署，调度资源部署等。 concerning：告警，后端实例异常，可能正在计费。例如多实例的情况下，有的实例正常，有的实例异常。正常的实例会产生费用，此时服务状态是concerning。 failed：失败，服务部署失败，失败原因可以查看事件和日志标签。
pipe”。 原因分析 出现该问题的可能原因如下： 在大规模分布式作业上，每个节点都在复制同一个桶的文件，导致OBS桶限流。 OBS Client连接数过多，进程/线程之间的轮询，导致一个OBS Client与服务端连接30S内无响应，超过超时时间，服务端断开了连接。 处理方法 如果是限流
并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
需要启动推理服务，目前支持大语言模型。 约束限制 确保容器可以访问公网。 使用opencompass工具需用vllm接口启动在线服务。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub - B
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
