检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.912）
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.912）
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
不同模型推荐的参数与NPU卡数设置 表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gr
Lite Cluster Cluster资源池如何进行NCCl Test？
必填项，填写资产简介，镜像发布后将显示在镜像页签上，方便用户快速了解资产。 支持1~90个字符，请勿在描述中输入涉政、迷信、违禁等相关敏感词，否则发布审核无法通过。 可见范围 “所有用户可见”：表示公开资产，所有用户都可以查看该资产。 “指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。
String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 user_id 否 String 用户ID，当user_id为all时，表示删除所有IAM子用户的授权。 请求参数 无 响应参数 无 请求示例 删除指定用户的授权 DELETE
orage_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID，可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 storage_id
描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。 表2 update_job_configs请求参数说明
必填项，填写资产简介，模型发布后将显示在模型页签上，方便用户快速了解资产。 支持1~90个字符，请勿在描述中输入涉政、迷信、违禁等相关敏感词，否则发布审核无法通过。 可见范围 “所有用户可见”：表示公开资产，所有用户都可以查看该资产。 “指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。
orage_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID，可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 storage_id
/v1/{project_id}/app-auth/apps/{app_id} 表1 路径参数 参数 是否必选 参数类型 描述 app_id 是 String APP编号，可通过APP列表接口获取。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数
必填项，填写资产简介，数据集发布后将显示在数据集页签上，方便用户快速了解资产。 支持1~90个字符，请勿在描述中输入涉政、迷信、违禁等相关敏感词，否则发布审核无法通过。 可见范围 “所有用户可见”：表示公开资产，所有用户都可以查看该资产。 “指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。
}/storage 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID，可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 请求参数
帮助用户更好地利用多个GPU进行训练 Accelerate是一种深度学习加速框架，主要针对分布式训练场景。Accelerate的核心思想是通过模型并行和数据并行来实现分布式训练，从而提高训练速度。Accelerate提供了一系列的优化技术，如模型切分、梯度累积等，可以帮助用户更好地利用多个节点进行训练。
查询服务对象列表 获取当前用户服务对象列表。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1：查询当前用户所有服务对象 1 2 3 4 5 6 from modelarts.session
能力。 性能调优可以先将重点放在NPU不亲和的问题处理上，确保一些已知的性能问题和优化方法得到较好的应用。通用的训练任务调优、参数调优可以通过可观测数据来进行分析与优化，一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段，考虑
描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。 表2 get_job_log请求参数说明
则表示仅环境问题导致训练作业异常时才会自动重启，其他问题导致训练作业异常时会直接返回“运行失败”。 图1 开启无条件重启 API接口设置 通过API接口创建训练作业时，在“metadata”字段的“annotations”中传入“fault-tolerance/job-retry
a_data.json 方法二：使用generate_dataset.py脚本生成数据集方法： generate_dataset.py脚本通过指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
