检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预览。 目前如下后缀结尾的文件类型支持代码预览：txt、py、h、xml、html、c、properties、yml、cmake、sh、css、js、cpp、json、md、sql、bat、conf 图1 下载预览代码 在详情页面单击“订阅”，根据算法是否具有使用约束进行不同操作：
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 适配的CANN版本是cann_8
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.911）
允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。 SSH：可以
允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。 SSH：可以
国际化语种的描述信息。 表12 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表13 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs
resource_categories Array of strings 镜像支持的规格。枚举值如下： CPU GPU ASCEND service_type String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN:
eter”。 order 否 String 可选值有以下两种。 “asc”为递增排序。 “desc”为递减排序，默认为“desc”。 search_content 否 String 指定要查询的文字信息，例如参数名称。默认为空。 响应消息 响应参数如表3所示。 表3 响应参数 参数
返回多条正常结果。 约束与限制： 不使用beam_search场景下，n取值建议为1≤n≤10。如果n>1时，必须确保不使用greedy_sample采样。也就是top_k > 1; temperature > 0。 使用beam_search场景下，n取值建议为1<n≤10。如果n=1，会导致推理请求失败。
配置Lite Cluster存储 如果没有挂载任何外部存储，此时可用存储空间根据dockerBaseSize的配置来决定，可访问的存储空间比较小，因此建议通过挂载外部存储空间解决存储空间受限问题。 容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，详情如表1所示。容器存
参数类型 描述 allowed_access_ips 否 Array of strings 允许远程接入的公网IP地址列表，最多5个。 service 否 String 支持的服务，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。 SSH：可以通过SSH协议远程连接Notebook。
├── eval_test.py # 启动脚本，建立线程池发送请求，并汇总结果 ├── service_predict.py # 发送请求的服务。支持vllm的openai，atb的tgi模板 ├── ...
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.909）
国际化语种的描述信息。 表11 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表12 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs
方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 运行“examples/quantize.py”文件进行模型量化，量
"https://modelarts.{}.myhuaweicloud.com".format(region_name) self.service_endpoint = "https://bms.{}.myhuaweicloud.com".format(region_name)
返回多条正常结果。 约束与限制： 不使用beam_search场景下，n取值建议为1≤n≤10。如果n>1时，必须确保不使用greedy_sample采样。也就是top_k > 1; temperature > 0。 使用beam_search场景下，n取值建议为1<n≤10。如果n=1，会导致推理请求失败。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 mc2融合算子报错 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.912）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
