检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取工单产品信息 功能介绍 获取工单产品信息 URI GET /wom/openapi/v1/wos/wo-part-info 表1 Query参数 参数 是否必选 参数类型 描述 wo_order 是 String 工单号 wo_id 否 String 工单号ID 请求参数 无
在部署服务创建部署任务 虚拟机变更通过创建变更任务，使用已创建的模板步骤完成任务过程配置。 前提条件 已创建部署模板。 已设置执行机用来部署虚拟机，具体操作请参见设置执行机。 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 创建并运行任务 进入AppStage
创建运维事件并发送通知 监控服务支持对现网发生的可能造成或者已经造成服务中断、业务质量下降的系统告警等问题创建运维事件并发送通知。 创建运维事件并发送通知 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。 选择左侧导航栏的
为隔离域关联ACL 网络ACL是一个子网级别的可选安全层，通过与子网关联的出方向/入方向规则控制出入子网的网络流量。ENS支持为已创建的虚拟机类型资源的隔离域关联ACL，本章节介绍如何为隔离域关联ACL。 前提条件 已获取服务运维岗位权限、基础运维岗位权限或运维管理员权限，权限申请操作请参见申请权限
基于SQL配置图表 配置oapdruid、oapclickhouse、oapmppdb、oapinfluxdb、oaptsdb数据源后，可以使用druid、clickhouse等数据源基于SQL配置图表，本章节介绍如何基于SQL配置图表并将图表添加至业务报表中。 前提条件 已完成对于数据源的数据开发
训练权重转换说明 以 llama2-13b 举例，使用训练作业运行 obs_pipeline.sh 脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf.sh
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表1。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示
执行训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json
调整灰度泳道流量 根据实际业务需要修改路由配置，调整流量至灰度泳道。 操作步骤 登录ServiceStage控制台。 单击“全链路流量控制”。 单击待操作灰度泳道所在泳道组名称（例如：lane-test），进入“全链路流量控制”页面。 单击泳道组当前关联的流量入口网关卡片上的“网关路由配置
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值
父主题： 版本和平台兼容性
已知问题 本文介绍了不同发行平台的镜像已知问题，私有镜像同样适用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
