检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这种方法主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
如何导出ONNX模型 PyTorch转ONNX，操作指导请见此处。
相关问题 智能标注失败，如何处理？ 当前智能标注为免费使用阶段，当系统的标注任务过多时，因免费资源有限，导致任务失败，请您重新创建智能标注任务或建议您避开高峰期使用。 智能标注时间过长，如何处理？
如何获取Token请参考获取IAM用户Token。 APIG.1009 AppKey和AppSecret不匹配 当服务预测使用的AppKey和AppSecret不匹配时，报错“APIG.1009”：“AppKey or AppSecret is invalid”。
os.modelarts/tenant.domain.id String 资源池的租户id，记录资源池创建在哪个租户账号下。 表13 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description String 资源池的描述信息。
os.modelarts/tenant.domain.id String 资源池的租户id，记录资源池创建在哪个租户账号下。 表15 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description String 资源池的描述信息。
使用如下命令登录huggingface，并输入个人账号的token，用于自动下载flux权重。
指明该对象用于训练、评估、测试、推理，如果没有给出该字段，则使用者自行决定如何使用该对象。 inference_loc String 当此Manifest文件由推理服务生成时会有该字段，表示推理输出的结果文件位置。 id String 样本ID。
图1 静态benchmark测试结果（示意图） 动态benchmark 本章节介绍如何进行动态benchmark验证。 执行如下命令进入容器。
图2 动态benchmark测试结果（示意图） 投机推理benchmark验证 本章节介绍如何进行投机推理benchmark验证。 已经上传投机推理benchmark验证脚本到推理容器中。
在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
微调训练 指令监督微调训练 介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
gallery-cli download {repo_id} {文件名} {文件名} 其中，“repo_id”如何获取，文件名如何获取。
使用如下命令登录huggingface，并输入个人账号的token，用于自动下载flux权重。
下文主要介绍如何通过方式一获取模型shape。 在pipeline应用准备章节，已经下载到sd的pytorch模型（/home_host/work/runwayml/pytorch_models）。
本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务，具体操作可以参考案例：使用ModelArts Standard一键完成商超商品识别模型部署。
而且Resize操作需要在数据从host端复制到device端之前执行，下面是一个简单的示例，展示如何在推理应用时使用动态Shape。
基于开发环境使用SDK调测训练作业：介绍如何在ModelArts的开发环境中，使用SDK调测单机和多机分布式训练作业。 父主题： 分布式模型训练
图1 静态benchmark测试结果（示意图） 动态benchmark 本章节介绍如何进行动态benchmark验证。 获取数据集。动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpaca、ShareGPT。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
