检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
. <镜像名称>:<版本名称>：定义镜像名称。示例：pytorch_2_1_ascend:20240606 记住使用Dockerfile创建的新镜像名称， 后续使用 ${dockerfile_image_name} 进行表示。 父主题： 准备镜像
. <镜像名称>:<版本名称>：定义镜像名称。示例：pytorch_2_1_ascend:20240606 记住使用Dockerfile创建的新镜像名称， 后续使用 ${dockerfile_image_name} 进行表示。 父主题： 准备镜像
scripts/llama2/0_pl_lora_13b.sh 或者： sh scripts/llama2/0_pl_lora_13b.sh 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6
方式一 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方Notebook示例可直接运行。 缺点：由于是容器化环境因此不如裸机方式灵活，例如不支持root权限操作、驱动更新等。
<模型版本> --local-dir <模型下载路径> 方法三：使用专用多线程下载器 hfd：hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了git clone repo_url
<模型版本> --local-dir <模型下载路径> 方法三：使用专用多线程下载器 hfd：hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了 git clone repo_url
单击“添加文件”，进入上传文件页面，选择本地的数据文件单击“点击上传”或拖动文件，单击“确认上传”启动上传。 上传单个超过5GB的文件时，请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前，请不要刷新或关闭上传页面，防止意外终止上传任务，导致数据缺失。
GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSInstructionHandler：使用微调的moss数据集。 AlpacaStyleInstructionHandler：使用LLama-Factory模板Alpaca数据集
GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSInstructionHandler：使用微调的moss数据集。 AlpacaStyleInstructionHandler：使用LLama-Factory模板Alpaca数据集
或GPU中运行。 默认使用的Runtime为python2.7。 Spark_MLlib python2.7（待下线） python3.6（待下线） python2.7以及python3.6的运行环境搭载的Spark_MLlib版本为2.3.2。 默认使用的Runtime为python2
者可以更轻松地使用它。 易开发性：提供了友好的开发和调试环境，便于模型的调整和优化。 高性能：通过自研特性和针对NPU的优化，如PD分离、前后处理、sample等，实现了高效的推理性能。 Ascend-vLLM架构 Ascend-vLLM架构图如下所示。 算子：使用CANN基础算
和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。 华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机
"Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面的日志页签中查看对应的报错日志，分析报错原因。 图2 报错日志 从上图报错日志判断，预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示，app
_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
图1 修改区分训练作业中2个代码目录 使用环境变量SAVE_PATH重新覆盖权重文件保存路径，作为最终的权重保存路径。修改代码如图2。 图2 修改权重保存路径 多机训练场景下，需要将CODE_DIR修改为OBS_CODE_DIR目录，则可以使用scripts/tools/sync_with_obs
_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
图1 修改区分训练作业中2个代码目录 使用环境变量SAVE_PATH重新覆盖权重文件保存路径，作为最终的权重保存路径。修改代码如图2。 图2 修改权重保存路径 多机训练场景下，需要将CODE_DIR修改为OBS_CODE_DIR目录，则可以使用scripts/tools/sync_with_obs
_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
原因中断，也可以基于checkpoint接续训练，保障需要长时间训练的模型的稳定性和可靠性，避免重头训练耗费的时间与计算成本 支持训练数据使用SFS Turbo文件系统进行数据挂载，训练作业产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中，并可被下游业务环节继续读
、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。 准备工作 参考benchmark-准备工作，开始训练测试
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
