检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的CANN版本是cann_8.0.rc2，驱动版本是23
低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取
源池 > 弹性集群”，选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5，表示固件版本为7.1.0.7.220，驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object
value 否 Long 付费工作流可使用的时间值。 响应参数 状态码：201 表4 响应Body参数 参数 参数类型 描述 result String 认证结果。 请求示例 对在线服务进行鉴权。设置付费工作流计费周期为“day”，付费工作流可使用的时间为“100”。 POST https
String 本地需要上传的文件夹路径。 当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时，OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址，必须以“obs://”作为前缀，上传的目标文件夹后缀必须以“/”结尾。
文档中新增在数据预处理时，支持LLama-Factory格式的模板： 支持Alpaca格式的数据，DATA_TYPE 环境变量需设置为 AlpacaStyleInstructionHandler 支持Sharegpt格式的数据，DATA_TYPE 环境变量需设置为 SharegptStyleInstructionHandler
增量训练：加载权重，不加载优化器 断点续训：加载权重+优化器，可自由指定训练输出目录下批次的权重 故障快恢：加载权重+优化器，默认加载训练输出目录下最新的权重 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b
911版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0
MindSpeed的版本升级到commitID=4ea42a23 ModelLink的版本升级到commitID=8f50777 transformers版本升级到4.45.0 peft版本升级到0.12.0 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号
909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink)
strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 支持的服务，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook
device id为本次训练作业的NPU卡编号，取值单卡为0，8卡为0~7。 例如：Ascend规格为 8*Snt9时，device id取值为0~7；Ascend规格为 1*Snt9时，device id取值为0。 rank id为本次训练作业的全局NPU卡编号，取值为0~实例数*卡数-1，单个实例下，rank
从小到大的顺序进行排序，取第99%的值作为TP99的值。 ≥ms ModelArts在线服务 1分钟 tp_999 TP99.9 上1分钟内，统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.9%的值作为TP99.9的值。 ≥ms ModelArts在线服务
定义镜像的API接口功能，无误后将自定义镜像上传至SWR服务。 将自定义镜像创建为模型：将上传至SWR服务的镜像导入ModelArts的模型管理。 将模型部署为在线服务：将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例，您可以购买相同规格的ECS或
本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授权范围不同。不同业务场景下的授权范围请参考权限依赖和委托章节。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予
以选择的参数包括：{full，lora} 删除RUN_TYPE 所以当前的组合情况为： 项目 full lora pt（预训练） √ √ sft（指令微调） √ √ 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址
本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授权范围不同。不同业务场景下的授权范围请参考权限依赖和委托章节。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予
本文介绍开发环境场景下子账号所需的基本使用权限，您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号使用Notebook进行调试，数据和代码存放在并行文件系统。以下内容需使用管理账号进行配置。 权限清单 权限 表1 开发环境所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议 开发环境实例生命周期管理
置作业为高优先级权限”的用户可选择优先级1~3。 如何设置训练作业优先级 在创建训练作业页面可以设置训练的“作业优先级”。取值为1~3，默认优先级为1，最高优先级为3。 如何修改训练作业优先级 在训练作业列表页面，选择“状态”为“等待中”的训练作业，单击“作业优先级”列的，在弹窗中修改优先级后单击“确定”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
