检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.907）
训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
单机多卡 上传数据和算法至SFS（首次使用时需要） 使用Notebook进行代码调试 创建训练任务 父主题： 调试与训练
权限控制方式 IAM 依赖和委托 工作空间 父主题： Standard权限管理
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907） 场景介绍 准备工作 指令监督微调训练任务 查看日志和性能 训练脚本说明 附录：指令微调训练常见问题 父主题： LLM大语言模型训练推理
计费项 自动学习/Workflow计费项 数据管理计费项 开发环境计费项 模型训练计费项 AI应用计费项 推理部署计费项 专属资源池计费项
初识ModelArts 父主题： 图解ModelArts
AI开发基础知识 AI开发基本流程介绍 AI开发基本概念 ModelArts中常用概念
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书 安全边界
“策略配置方式”：选择可视化视图。 “策略内容”：允许，云服务中搜索ModelArts服务并选中，操作列中搜索关键词modelarts:trainJob:exec并选中，所有资源选择默认值。 图1 创建自定义策略 在统一身份认证服务页面的左侧导航选择“用户组”，在用户组页面查找待授权的
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
续费 续费概述 手动续费 自动续费
功能介绍 Standard功能介绍 MaaS大模型即服务平台功能介绍 Lite功能介绍 AI Gallery功能介绍
Standard功能介绍 Standard自动学习 Standard Workflow Standard数据管理 Standard开发环境 Standard模型训练 Standard模型部署 Standard资源管理 Standard支持的AI框架 父主题： 功能介绍
图解ModelArts 初识ModelArts 初识Workflow
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
