检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。
小模型权重文件名 具体可参考Eagle投机小模型训练章节中的步骤五：训练生成权重转换成可以支持vLLM推理的格式。
在Cloud Shell中调试多节点训练作业时，需要在Cloud Shell中切换work0、work1来实现对不同节点下发启动命令，否则任务会处于等待其他节点的状态。
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。
RESIZE_FAILED，规格变更失败 sortby 否 String 分类标准，支持“name”、“creation_timestamp”。
├──quantize.py # 昇腾适配的量化转换脚本 ├──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #
表格数据集暂不支持切换版本。 发布数据集版本 登录ModelArts管理控制台，在左侧菜单栏中选择“资产管理> 数据集”，进入“数据集”管理页面 在数据集列表中，单击操作列的“发布”。或者，您可以单击数据集名称，进入数据集“概览”页，在页面右上角单击“发布”。
由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。
由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。
# 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。
在“系统属性”中切换到“高级”页签，单击“环境变量”。 在“环境变量”的“用户变量”中鼠标左键双击“Path”，在“编辑环境变量”窗口单击“新增”，新增Python和pip的安装路径。
您可以查看模型的基本信息、模型精度，以及切换页签查看更多信息。 表3 模型基本信息 参数 说明 名称 模型的名称。 状态 模型当前状态。 版本 模型当前版本。 ID 模型的ID。 描述 单击编辑按钮，可以添加模型的描述。 部署类型 模型支持部署的服务类型。
当模型状态变更为“正常”时，表示模型创建成功。在此页面，您还可以进行创建新版本、快速部署服务、发布模型等操作。 后续操作 部署服务：在“模型列表”中，单击模型的操作列的“部署”，在对应版本所在行，单击“操作”列的部署按钮，可以将模型部署上线为创建模型时所选择的部署类型。
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换
准备Notebook（可选） 如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Notebook环境进行，并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。
由于需要转换较大内存的模型文件，因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。
模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图2 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
