检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910）
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 eagle 投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题： AI Gallery（新版）
发布和管理AI Gallery数据集 发布和管理AI Gallery项目 发布和管理AI Gallery镜像 发布和管理AI Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
发布和管理AI Gallery模型 构建模型 托管模型到AI Gallery 发布模型到AI Gallery 管理AI Gallery模型 父主题： AI Gallery（新版）
发布和管理AI Gallery中的AI应用 发布本地AI应用到AI Gallery 将AI Gallery中的模型部署为AI应用 管理AI Gallery中的AI应用 父主题： AI Gallery（新版）
订阅使用 查找和收藏资产 订阅免费算法 订阅免费模型 下载数据 使用Notebook代码样例 使用镜像 使用AI案例 订阅Workflow 父主题： AI Gallery（旧版）
发布分享 发布免费算法 发布免费模型 发布数据 发布Notebook 父主题： AI Gallery（旧版）
参加活动 报名实践活动（实践） 发布技术文章（AI说） 父主题： AI Gallery（旧版）
需求广场 发布需求 父主题： AI Gallery（旧版）
数据集版本管理 查询数据集版本列表 创建数据集版本 查询数据集版本详情 删除数据集版本 父主题： 数据管理
样本管理 查询样本列表 查询单个样本详情 批量删除样本 父主题： 数据管理
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题： 数据管理
资源和引擎规格接口 查询资源规格列表 查询引擎规格列表 父主题： 训练管理
Ctrl+Shift+P，macOS：Cmd+Shift+P），搜索“Kill VS Code Server on Host”，选择出问题的实例进行自动清除，然后重新进行连接。 图1 清除异常的实例 父主题： VS Code连接开发环境失败故障处理
MoXing 使用MoXing复制数据报错 如何关闭Mox的warmup Pytorch Mox日志反复输出 moxing.tensorflow是否包含整个TensorFlow，如何对生成的checkpoint进行本地Fine Tune？ 训练作业使用MoXing复制数据较慢，重复打印日志
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
