检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入模型后部署服务，提示磁盘不足 问题现象 用户在导入模型后，部署服务时，提示磁盘空间不足：“No space left on device”。
description String 模型描述信息。 source_type String 模型来源的类型，仅当模型为自动学习部署过来时有值，取值为auto。 父主题： 模型管理
重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
父主题： 推理模型量化
父主题： 推理模型量化
见如下示例： 图1 修改build_images.sh 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
在MaaS中创建模型 在ModelArts Studio大模型即服务平台使用基础模型创建个人专属模型。 场景描述 MaaS提供了基于昇腾云算力适配的开源大模型，您可以使用这些基础模型，结合推荐的模型权重文件或自定义的模型权重文件，创建个人专属的模型。
当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型（即自定义模型）时，上传的模型文件要满足自定义模型规范，否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用llama3.1系列模型进行推理时报错 使用llama3.1系模型进行推理时报错：ValueError: 'rope_scaling
对于falcon-11B训练任务开始前，需手动替换tokenizer中的config.json，具体请参见falcon-11B模型。 修改完yaml配置文件后，启动训练脚本；模型不同最少npu卡数不同，npu卡数建议值可参考模型NPU卡数取值表。
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。
各个模型训练前文件替换 在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。
替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
后续操作 自定义模型文件构建完成后，可以参考托管模型到AI Gallery将模型文件托管至AI Gallery。建议托管的模型文件列表参见表2。 表2 模型实例包含的文件 文件名称 描述 config.json 模型配置文件。
订阅的模型一直处于等待同步状态 问题现象 订阅的模型一直处于等待同步状态。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
