检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HostName: 云上开发环境的访问地址，即在开发环境实例页面远程访问模块获取的访问地址。例如：dev-modelarts-cnnorth4.huaweicloud.com Port: 云上开发环境的端口，即在开发环境实例页面远程访问模块获取的端口号。 User：登录用户只支持ma-user进行登录。
获取项目ID和名称 操作场景 在调用接口的时候，部分请求中需要填入项目ID或项目名称，所以需要获取到项目ID和名称。有如下两种获取方式： 从控制台获取项目ID和名称 调用API获取项目ID 从控制台获取项目ID和名称 从控制台获取项目ID（project_id）和名称（project
bash Step4 构建与代码解耦的镜像和容器环境 Step3 构建标准镜像和容器环境 和 Step4 构建与代码解耦的镜像和容器环境 都是搭建容器环境，任选其中一个即可。 一、启动镜像 启动容器镜像，训练需要8卡，推理分为单卡推理和多卡推理，启动前可以根据实际需要增加修改参数。
允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。
基于这些基础镜像构建自定义镜像，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10.1) tensorflow_2.1.0-cuda_10.1-py_3
为用户配置ModelArts的委托访问授权 配置完IAM权限之后，需要在ModelArts页面为子账号设置ModelArts访问授权，允许ModelArts访问OBS、SWR、IEF等依赖服务。 此方式只允许主用户为子账号进行配置。因此，本示例中，管理员账号需为所有用户完成访问授权的配置。 使用
ModelArts平台是否支持多模型导入？ ModelArts平台从对象存储服务（OBS）中导入模型包适用于单模型场景。 如果有多模型复合场景，推荐使用自定义镜像方式，通过从容器镜像（SWR）中选择元模型的方式创建模型部署服务。 制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
elArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上，并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务，可以实现高并发，低延时，弹性伸缩，并且支持多模型灰度发布、A/B测试。 支持各种部署场景，
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
启动提供服务，并支持gRPC和HTTP Restful API的访问方式。 Triton是一个高性能推理服务框架，提供HTTP/gRPC等多种服务协议，支持TensorFlow、TensorRT、PyTorch、ONNXRuntime等多种推理引擎后端，并且支持多模型并发、动态b
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1 支持的模型列表所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 获取模型权重文件 表2 支持的模型列表 序号 支持模型 支持模型参数量
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具，使用该工具可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。代码目录结构如下。精度测试使用到的mmlu和ceval数据集已经提前打包在代码中。
ModelArts的API或SDK支持模型下载到本地吗？ ModelArts的API和SDK不支持模型下载到本地，但训练作业输出的模型是存放在对象存储服务（OBS）里面的，您可以通过OBS的API或SDK下载存储在OBS中的文件，具体请参见从OBS下载文件。 父主题： API/SDK
Notebook：是一款Web应用，用户能够在界面编写代码，并且将代码、数学方程和可视化内容组合到一个文档中。 JupyterLab插件：插件包括规格切换，分享案例到AI Gallery进行交流，停止实例（实例停止后CPU、Memory不再计费）等，提升用户体验。 支持SSH远程连接功能：通过SSH连接启动实例，在本地调试就可以操作实例，方便调试。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
