检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
df3 CANN：cann_8.0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练
907版本新增如下内容： 文档和代码中新增对mistral和mixtral模型的适配，并添加训练推荐配置。 文档准备镜像步骤中，仅提供：直接使用基础镜像方案、ECS中构建新镜像方案，删除使用Notebook创建镜像方案。 文档中新增对 llama3 支持长序列文本（sequence_length >
比如防火墙配置是2小时空闲就关闭连接，那客户端配置ServerAliveInterval小于2小时（比如1小时），就可以避免防火墙将连接断开。 服务器端配置（Notebook当前已经配置，24h应该是长于防火墙的断连时间配置，该配置无需用户手工修改，写在这里仅是帮助理解ssh配置原理）配
比如防火墙配置是2小时空闲就关闭连接，那客户端配置ServerAliveInterval小于2小时（比如1小时），就可以避免防火墙将连接断开。 服务器端配置（Notebook当前已经配置，24h应该是长于防火墙的断连时间配置，该配置无需用户手工修改，写在这里仅是帮助理解ssh配置原理）配
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
选择实例规格，规格中描述了服务器类型、型号等信息。 流量限制（QPS） 设置待部署模型的流量限制QPS。 单位：次/秒 说明： 在部署过程中出现错误码“ModelArts.4206”时，表示QPS请求数量达到限制，建议等待限流结束后再重启服务。 实例数 设置服务器个数。 推荐实例数 =
计算资源开展MiniCPM-V 2.0 LoRA训练的详细过程，及一份推理示例代码。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买DevServer资源。 本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend
代码包文件名中的xxx表示具体的时间戳，以包名的实际时间为准。 Step1 准备环境 请参考Cluster资源开通，购买Cluster资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Cluster资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理服务器，否则可能无法访问网站。 在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable Diffusion
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
图2 模型的自定义镜像制作场景二 场景三：预置镜像既不满足软件环境要求，同时需要放入模型包，新的镜像超过35G，在服务器（如ECS）上制作。具体案例参考在ECS中通过Dockerfile从0制作自定义镜像用于推理。 图3 模型的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。
install等方式安装conda环境的依赖。 更多ModelArts自定义镜像介绍请见自定义镜像简介。 调试要点 确认对应的脚本、代码、流程在linux服务器上运行正常。 如果在linux服务器上运行就有问题，那么先调通以后再做容器镜像。 确认打入镜像的文件是否在正确的位置、是否有正确的权限。 训练场景主要查看自研的依赖包是否正常，查看pip
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
7-154bd1b 从SWR拉取。 步骤一：准备环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要
由于用户需要付费购买备用节点作为高可用冗余节点，因此资源成本会提高。 如何设置高可用节点：当前支持从资源池角度批量设置多个高可用冗余节点，也支持设置单个节点为高可用冗余节点。 资源池批量设置多个高可用冗余节点 方式一：在购买时设置（仅Snt9C支持） 图1 购买时设置 参数说明：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
