检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.907）
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
管理我的服务 修改MaaS模型服务 更新MaaS模型服务的模型权重
重新启动镜像激活SFS盘中的虚拟环境 方法一，直接使用完整conda env路径。 # shell conda activate /home/ma-user/work/envs/user_conda/sfs-new-env 方法二，先添加虚拟环境到conda env，然后使用名称激活。 # shell conda
如何删除预置镜像中不需要的工具 预置的基础镜像中存在cpp、gcc等调试/编译工具，如果您不需要使用这些工具，可以通过运行脚本删除。 创建一个run.sh脚本文件，文件中的代码内容如下。然后在容器中执行sh run.sh命令运行脚本。 #!/bin/bash delete_sniff_compiler()
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
、自然语言处理、音视频分析等AI项目场景。 ModelArts Standard数据管理模块重构中，当前能力不做演进，将结合大模型时代能力进行全新升级，敬请期待。 ModelArts Standard数据管理支持多维度数据管理能力 数据集管理：提供数据集创建、数据预览、数据集版本管理等能力
动版本不匹配”。 原因分析 当昇腾规格的训练作业在ModelArts训练平台上运行时，会自动对Cann软件与Ascend驱动的版本匹配情况进行检查。如果平台发现版本不匹配，则会立即训练失败，避免后续无意义的运行时长。 解决方案 专属资源池的Ascend驱动版本需与训练基础镜像中的Cann软件版本版本匹配。
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
运行指标，可选值如下： cpuUsage（CPU使用率）、memUsage（物理内存使用率）、gpuUtil（GPU使用率）、gpuMemUsage（显存使用率）、npuUtil（NPU使用率）、npuMemUsage（NPU显存使用率）。 value Array of numbers
object 节点池的状态信息。 表4 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定，若未指定将会使用默认名称。 表5 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节
ache”目录的大小 创建Notebook时，可以根据业务数据量的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 映射规则：当前不支持CPU配置cache盘；GP
object 节点池的状态信息。 表3 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定，若未指定将会使用默认名称。 表4 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节
建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题：
法精度下降或者训练失败问题。 数据清洗：数据清洗是指对数据进行去噪、纠错或补全的过程。 数据清洗是在数据校验的基础上，对数据进行一致性检查，处理一些无效值。例如在深度学习领域，可以根据用户输入的正样本和负样本，对数据进行清洗，保留用户想要的类别，去除用户不想要的类别。 数据选择：
object 节点池的状态信息。 表4 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定，若未指定将会使用默认名称。 表5 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
目前只能指定切分比例，随机将样本划分到训练集或者验证集，不支持指定。 切分比例的指定： 在发布数据集时，仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后，需设置对应的训练验证比例。 输入“训练集比例”，数值只能是0~1区间内的数。设置好“训练集比
建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
