检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行结果将存储在output文件夹中，如果用户指定了output_path，会指定位置保存，如果不指定则在当前代码执行目录生成文件夹保存输出。整体运行的结果都存放在output文件夹中，每转一次模型就会根据模型名称以及相关参数生成结果文件，如下图所示。 图3 output文件 在每次运行的结
据调整后再重新训练。 文件规范：名称由以字母数字及中划线下划线组成，以'.csv'结尾，且文件不能直接放在OBS桶的根目录下，应该存放在OBS桶的文件夹内。如：“/obs-xxx/data/input.csv”。 文件内容：文件保存为“csv”文件格式，文件内容以换行符（即字符“
deLab中已创建好ipynb文件，开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台，选择“开发环境 > Notebook”。 打开“运行中”的Notebook实例进入JupyterLab页面，在待分享的ipynb文件右侧，单击“创建分享”按钮，弹出“发布AI
错误的发生。 export PYTORCH_NPU_ALLOC_CONF = expandable_segments:True 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等
型只支持Manifest文件导入数据集的方式。 Manifest文件：指数据集为Manifest文件格式，Manifest文件定义标注对象和标注内容的对应关系，且Manifest文件已上传至OBS中。Manifest文件的规范请参见从Manifest文件导入规范说明。 导入“物体
llama2系列模型执行脚本的文件夹 |──llama3 # llama3系列模型执行脚本的文件夹 |──qwen # Qwen系列模型执行脚本的文件夹
必选，pytorch模型保存文件，保存为“state_dict”，存有权重变量等信息。 │ │ ├──config.json 必选：模型配置文件，文件名称固定为config.json，只允许放置一个 │ │ ├──customize_service.py 必选：模型推理代码，文件名称固定为customize_service
file_num_finished Long 传输完成文件数。 file_num_total Long 总文件数。 file_size_finished Long 传输完成文件大小（字节）。 file_size_total Long 总文件大小(字节)。 请求示例 查询导入任务详情 GET
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
txt”。用户无法直接使用open方法打开OBS文件，上面描述的打开本地文件的代码将会报错。 OBS提供了很多方式和工具给用户使用，如SDK、API、console、OBS Browser等，ModelArts mox.file提供了一套更为方便地访问OBS的API，允许用户通过一系列模仿操作本地文件系统的API来操
llama2系列模型执行脚本的文件夹 |──llama3 # llama3系列模型执行脚本的文件夹 |──qwen # Qwen系列模型执行脚本的文件夹
创建模型 创建模型不同方式的场景介绍 从训练作业中导入模型文件创建模型 从OBS中导入模型文件创建模型 从容器镜像中导入模型文件创建模型 从AI Gallery订阅模型 父主题： 使用ModelArts Standard部署模型并推理预测
训练代码编程语言不限。训练启动文件必须为Python语言。 文件数（含文件、文件夹数量）小于或等于1000个。 文件总大小要小于或等于5GB。 文件深度要小于或等于32 “启动文件” 必须为“代码目录”下的文件，且以“.py”结尾，即ModelArts目前只支持使用Python语言编写的启动文件。 代码目录路径中的启动文件为训练启动的入口。
llama2系列模型执行脚本的文件夹 |──llama3 # llama3系列模型执行脚本的文件夹 |──qwen # Qwen系列模型执行脚本的文件夹
file_num_finished Long 传输完成文件数。 file_num_total Long 总文件数。 file_size_finished Long 传输完成文件大小（字节）。 file_size_total Long 总文件大小(字节)。 请求示例 获取数据集导入任务列表
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
MindSpore支持将数据信息保存到Summary日志文件中，并通过可视化界面MindInsight进行展示。 前提条件 使用MindSpore引擎编写训练脚本时，为了保证训练结果中输出Summary文件，您需要在脚本中添加收集Summary相关代码。 将数据记录到Summary日志文件中的具体方式请参考收集Summary数据。
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范： 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。如：“/bucketName/data-cat”。 如需要提前上传待标注的音频，请创建一个空文件夹，然后将音频文件保存在该文件夹下，音频的目录结构如：“/bucketName/data-cat/cat
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
