检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按需计费 按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费资源的计费规则。 适用场景 按需计费适用于资源需求波动的场景，例如面向ToC业务的AIGC推理场景，客户业务量会随时间有规律的波动，按需计费模式能大幅降低客户的业务成本。可在运
其中，加粗的斜体字段需要根据实际值填写： ma_endpoint为ModelArts的终端节点。 project_id为用户的项目ID。 “X-Auth-Token”的值是上一步获取到的Token值。 返回状态码“200”，响应Body如下所示： { "total_count": 2, "flavors":
推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite
自定义镜像的配置规范 镜像对外接口 设置镜像的对外服务接口，推理接口需与config.json文件中apis定义的url一致，当镜像启动时可以直接访问。下面是mnist镜像的访问示例，该镜像内含mnist数据集训练的模型，可以识别手写数字。其中listen_ip为容器IP，您可以通过启动自定义镜像，在容器中获取容器IP。
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23
FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.911） Flux是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。官方提供了三个版本：FLUX.1-pro、FLUX.1-dev和FLUX.1-schnell。 方案概览 本方案介绍了在ModelArts
e所对应的Conda环境如下。 用户可以根据是否使用AI引擎Mindspore参与功能调试，选择不同的Conda环境。 Notebook：是一款Web应用，用户能够在界面编写代码，并且将代码、数学方程和可视化内容组合到一个文档中。 JupyterLab插件：插件包括规格切换，分享案例到AI
URI GET /v1/{project_id}/images 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer
元数据。 检查环境。 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker
制作自定义镜像并用于训练（Pytorch+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux x86_64架构的主机，操作系统ubuntu-18
h+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux x86_64架构的主机，操作系统ubuntu-18
的“AI引擎”。 “容器调用接口” 当“AI引擎”选择“Custom”时，才会显示该参数。 模型提供的推理接口所使用的协议和端口号，缺省值是HTTPS和8080，端口和协议需要根据模型实际定义的推理接口进行配置。 “健康检查” 用于指定模型的健康检查。使用Custom引擎时，会显
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker
zip中需要用户自己准备模型文件，此处仅是举例示意说明，以一个手写数字识别模型为例。 Model目录下必须要包含推理脚本文件customize_service.py，目的是为开发者提供模型预处理和后处理的逻辑。 图5 推理模型model目录示意图（需要用户自己准备模型文件） 推理脚本customize_service
Cluster网络 购买资源池后，需要弹性公网IP并进行网络配置，配置网络后可通过公网访问集群资源。 2 配置kubectl工具 kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。 3 配置Lite Cluster存储
制作自定义镜像并用于训练（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux x86_64架构的主机，操作系统ubuntu-18
元数据。 检查环境。 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
从0制作自定义镜像用于创建训练作业（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 本实践教程仅适用于新版训练作业。 场景描述 本示例使用Linux x86_64架构的主机，操作系统ubuntu-18
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
