检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
编排Workflow Workflow的编排主要在于每个节点的定义，您可以参考创建Workflow节点章节，按照自己的场景需求选择相应的代码示例模板进行修改。编排过程主要分为以下几个步骤。 梳理场景，了解预置Step的功能，确定最终的DAG结构。 单节点功能，如训练、推理等在ModelArts相应服务中调试通过。
启动推理服务 本章节主要介绍大语言模型的推理服务启动方式，包括离线推理和在线推理2种方式。 离线推理 编辑一个python脚本，脚本内容如下，运行该脚本使用ascend-vllm进行模型离线推理。 from vllm import LLM, SamplingParams def
当前裸金属服务器状态为停止状态。 目标操作系统必须是该Region下的IMS公共镜像或者私有共享镜像。 在BMS控制台切换操作系统 获取操作系统镜像。 由华为云官方提供给客户操作系统镜像，在IMS镜像服务的共享镜像处进行接收即可，参考如下图操作。 图1 共享镜像 切换操作系统。 对Lite Serv
启动推理服务 本章节主要介绍大语言模型的推理服务启动方式，包括离线推理和在线推理2种方式。 离线推理 编辑一个python脚本，脚本内容如下，运行该脚本使用ascend-vllm进行模型离线推理。 from vllm import LLM, SamplingParams def
查看模型评估结果 训练作业运行结束后，ModelArts可为您的模型进行评估，并且给出调优诊断和建议。 针对使用预置算法创建训练作业，无需任何配置，即可查看此评估结果（由于每个模型情况不同，系统将自动根据您的模型指标情况，给出一些调优建议，请仔细阅读界面中的建议和指导，对您的模型进行进一步的调优）。
授权要求，或者您需要管理用户操作OBS的操作权限，可以创建自定义策略。更多关于创建自定义策略操作和参数说明请参见创建自定义策略。 目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略，本章节将使用JSON视图方式的策略，以为ModelArts用户授予开发环境的使用权
授权要求，或者您需要管理用户操作OBS的操作权限，可以创建自定义策略。更多关于创建自定义策略操作和参数说明请参见创建自定义策略。 目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略，本章节将使用JSON视图方式的策略，以为ModelArts用户授予开发环境的使用权
模型适配 MindSpore Lite是华为自研的推理引擎，能够最大化地利用昇腾芯片的性能。在使用MindSpore Lite进行离线推理时，需要先将模型转换为mindir模型，再利用MindSpore Lite作为推理引擎，将转换后的模型直接运行在昇腾设备上。模型转换需要使用converter_lite工具。
执行训练任务（推荐） 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
自定义脚本代码示例 从OBS中导入模型文件创建模型时，模型文件包需符合ModelArts的模型包规范，推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例（包含推理代码示例）。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。
执行训练任务（推荐） 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169
Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169
Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169
Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169
用卡的分布不同，实际会有不同的碎片情况，且随时间变化，表格中仅表示当前时间的状态。 / / 管理资源池标签 通过给资源池添加标签，可以标识云资源，便于快速搜索资源池。 在资源池详情页，切换到“标签”页签。您可以查看、搜索、添加、修改、删除资源池的标签信息。 最多支持添加20个标签。
部署推理服务 本章节介绍如何使用vLLM 0.3.2框架部署并启动推理服务。 前提条件 已准备好Server环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的Server和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录机器后，检查
资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169
自动化脚本快速部署推理服务（推荐） 场景描述 本方案提供了一键式安装脚本start.sh，用于快速部署推理服务。脚本中实现了以下步骤的自动化操作： 环境检查 拉取镜像 根据实际值更新rank_table_file.json 启动容器 进入容器启动服务 前提条件 已经完成资源购买。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
