检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像 swr
分离部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤一：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压A
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压A
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压A
创建Standard专属资源池 本章节主要介绍创建Standard专属资源池的详细操作。 前提条件 已经创建虚拟私有云。 已经创建子网。 步骤一：创建网络 ModelArts网络是承载ModelArts资源池节点的网络连接，基于华为云的VPC进行封装，对用户仅提供网络名称以及CI
创建Notebook实例 功能介绍 创建Notebook实例，可以根据您指定的实例规格，不同AI引擎镜像，存储等相关参数，为您创建一个Notebook，您可以通过网页和SSH客户端访问Notebook实例。 该接口为异步操作，创建Notebook实例的状态请通过查询Notebook实例详情接口获取。
FlUX.1基于Lite Server适配PyTorch NPU推理指导（6.3.912） Flux是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。官方提供了三个版本：FLUX.1-pro、FLUX.1-dev和FLUX.1-schnell。 方案概览 本方案介绍了在ModelArts
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压A
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.912-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
查询模型详情 查询当前模型对象的信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据导入模型生成的模型对象进行模型详情查询 1 2 3 4 5 6 7 from modelarts
准备代码 本教程中用到的训练、推理代码如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
停止Notebook实例 功能介绍 停止Notebook实例。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project
查询Notebook实例详情 功能介绍 查询Notebook实例详情，可查询实例详细信息包括实例ID、名称、规格、镜像、实例状态和实例可打开的URL等。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成
启动Notebook实例 功能介绍 启动Notebook实例。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project
使用MaaS部署模型服务 在ModelArts Studio大模型即服务平台可以将模型部署为服务，便于在“模型体验”或其他业务环境中可以调用。 约束限制 部署模型服务时，ModelArts Studio大模型即服务平台预置了推理的最大输入输出长度。模型Qwen-14B默认是204
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压A
删除Notebook实例 功能介绍 删除Notebook实例，删除的资源包括Notebook容器以及对应的所有存储资源。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
示例：从 0 到 1 制作自定义镜像并用于训练（PyTorch+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
