检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
Service，并且提供在线的测试UI与监控功能，部署成功的在线服务，将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。 图2 不同类型的推理作业使用场景 父主题： 使用ModelArts Standard部署模型并推理预测
在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况合理使用数据盘，数据盘大小请参考训练环境中不同规格资源大小。 CPU过载 减少线程数。 排查办法 根据错误信息判断，报错原因来源于用户代码。 您可以通过以下两种方式排查：
件环境时需要Server服务器能够访问网络，因此需要先完成网络配置。 2 配置Lite Server存储 Server资源需要挂载数据盘用于存储数据文件，当前支持SFS、OBS、EVS三种云存储服务，提供了多种场景下的存储解决方案。 3 配置Lite Server软件环境 不同镜像中预安装的软件不同，您通过Lite
（可选，如果选择使用humaneval数据集） pip install -e . # 可选，如果选择使用humaneval数据集 （可选）如果需要在humaneval数据集上评估模型代码能力，请执行此步骤，否则忽略这一步。原因是通过opencompass使用humaneval数据集时，需要执行模型
或是mindir的模型。 图1 精度诊断流程 一般情况下，onnx模型推理的结果可以认为是标杆数据，单独替换某个onnx模型为MindSpore Lite模型，运行得到的结果再与标杆数据做对比，如果没有差异则说明pipeline的差异不是由当前替换的MindSpore Lite模型引入。
Server在日常操作与维护过程中涉及的高危操作，需要严格按照操作指导进行，否则可能会影响业务的正常运行。 高危操作风险等级说明： 高：对于可能直接导致业务失败、数据丢失、系统不能维护、系统资源耗尽的高危操作。 中：对于可能导致安全风险及可靠性降低的高危操作。 低：高、中风险等级外的其他高危操作。 表1
选择“存储位置”：设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据，可将数据提前上传至对应的OBS路径下。“存储位置”不能设置为OBS桶的根目录，需设置为对应OBS桶下的具体目录。 选择“凭据”：选择已有的凭据或单击右侧的“立即创建”，跳转至数据加密控制台创建凭据，凭据键
如何上传本地文件至Notebook？ 如何导入大文件到Notebook中？ upload后，数据将上传到哪里？ 如何下载Notebook中的文件到本地？ 如何将开发环境Notebook A的数据复制到Notebook B中？ 在Notebook中上传文件失败，如何解决？ 动态挂载OB
本的软件包，请严格遵照版本配套关系使用本文档。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件
自动学习 准备数据 模型训练 部署上线 模型发布
String 训练作业需要的数据集OBS路径URL，默认为空。如：“/usr/data/”。不可与data_source或者dataset_id/dataset_version_id同时出现，但必须有其一。 dataset_id 否 String 训练作业的数据集ID。应与datase
t Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例，请参考创建OBS桶，例
再将数据集迁移至SFS。 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。 # 将本地数据传至OBS中 # ./obsutil cp ${数据集所在的本地文件夹路径} ${存放数据集的obs文件夹路径} -f -r # 例如 ./obsutil cp ./coco
费用将根据实际使用情况由华为云ModelArts等管理控制台向使用方收取。 当前支持免费分享和订阅的资产类型有：Notebook代码样例、数据集、算法、模型、镜像。 商用资产由华为云云商店提供卖家发布和买家购买相关功能，AI Gallery仅提供列表展示。购买商业售卖的AI资产，
Gallery订阅商品失败怎么办？ AI Gallery是在ModelArts的基础上构建的开发者生态社区，提供模型、算法、HiLens技能、数据集等内容的共享。当您订阅商品失败可参照如下方式解决： 请检查您是否完成实名认证。 账号注册成功后，您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。
通过ModelArts的Notebook，在JupyterLab中使用OBS上传下载数据。 建议配置。 开发环境监控功能 AOM aom:alarm:put 调用AOM的接口，获取Notebook相关的监控数据和事件，展示在ModelArts的Notebook中。 建议配置。 VPC接入
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所
获取对应模型的权重文件，获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/ #OBS桶名称和文件目录可以自定义创建，此处仅为举例。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
