检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。
类型：选择驱动/固件版本匹配的专属资源池Ascend规格。 作业日志路径：设置为OBS中存放训练日志的路径。例如：“obs://test-modelarts/pytorch/log/” 在“规格确认”页面，确认训练作业的参数信息，确认无误后单击“提交”。
计费项：计算资源费用 + 存储费用 假设用户于2023年4月1日10:00:00创建了一个的训练作业，使用规格为CPU: 8 核 32GB、计算节点个数为1个（单价：3.40 元/小时）的公共资源池，并在11:00:00停止运行。
资源规格要求： 硬盘空间：至少200GB。 昇腾资源规格：Ascend: 8*ascend-snt9b表示昇腾8卡规格。 推荐使用“西南-贵阳一”Region上的昇腾资源。
<model_name>：训练模型名，如qwen2-7b <run_type>：训练策略类型及数据序列长度：【lora：4096-lora、full：4096-full、lora-8k：8192-lora、full-8k：8192-full】 --master_addr <master_addr
--dataset-type：当使用投机推理时开启，benchmark使用的数据类型，当前支持random、sharegpt、human-eval三种输入。
v1.25|v1.28（推荐） 集群规模：50|200|1000|2000 集群网络模式：容器隧道网络|VPC 分布式训练时仅支持容器隧道网络 集群转发模式：iptables|ipvs gp-vnt1 RoCE|IB 操作系统：EulerOS 2.9 64bit（仅上海一p6|p6s规格使用
模型转换工具 离线转换模型功能的工具MSLite Convertor，支持onnx、pth、tensorflowLite多种类型的模型转换，转换后的模型可直接运行在MindSpore运行时后端，用于昇腾推理。
表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b full 4096 TP(tensor model
表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN） 并行参数设置 micro batch size (MBS) 规格与节点数 1 llama2 llama2-7b pretrain/sft 4096 TP(tensor
epochs 10 --parallel-num 1 2 4 8 --output-tokens 256 256 --prompt-tokens 1024 2048 --benchmark-csv benchmark_parallel.csv 参数说明： --backend：服务类型
epochs 10 --parallel-num 1 2 4 8 --output-tokens 256 256 --prompt-tokens 1024 2048 --benchmark-csv benchmark_parallel.csv 参数说明： --backend：服务类型
--dataset-type：当使用投机推理时开启，benchmark使用的数据类型，当前支持random、sharegpt、human-eval三种输入。
--dataset-type：当使用投机推理时开启，benchmark使用的数据类型，当前支持random、sharegpt、human-eval三种输入。
登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”，进入“弹性集群 Cluster”页面，选择“Lite 资源池”页签。 在“Lite资源池”页签中，单击创建的Lite Cluster专属资源池，进入资源池详情页面。
缺点：资源申请周期长，购买成本高，管理视角下资源使用效率较低。 环境开通指导请参考DevServer资源开通；环境配置指导请参考Snt9B裸金属服务器环境配置指南。 本文基于方式二的环境进行操作，请参考方式二中的环境开通和配置指导完成裸机和容器开发初始化配置。
约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练，如表1所示。
安装文件规范 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。 在“代码目录”中创建一个命名为“pip-requirements.txt”的文件，并且在文件中写明依赖包的包名及其版本号，格式为“包名==版本号”。
当用户将大语言模型或者其他类型深度神经网络的训练从GPU迁移到昇腾AI处理器时，可能出现以下不同现象的模型精度问题。一般包括： Loss曲线与CPU/GPU差异不符合预期。 验证准确度与CPU/GPU差异不符合预期。
batch_size} --log_samples --cache_requests true --trust_remote_code --output_path ${output_path} 参数说明: model_args：标志向模型构造函数提供额外参数，比如指定运行模型的数据类型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
