检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session
SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.907） Stable Diffusion（简称SD）是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
查询算法详情 功能介绍 根据算法id查询指定算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/algorithms/{algorithm_id}
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费，具体收费项如下： 处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。
在DevServer上部署SD WebUI推理服务 本章节主要介绍如何在ModelArts的DevServer环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 步骤一 准备环境 请参考DevServer资源开通，购买DevServer资源，并确保
Notebook Cache盘告警上报 创建Notebook时，可以根据业务数据量的大小选择CPU、GPU或者Ascend资源，对GPU或Ascend类型的资源，ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。 当前开发环境的Cache盘使用
准备镜像 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
SDK简介 ModelArts服务软件开发工具包（ModelArts SDK）是对ModelArts服务提供的REST API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts
AI Gallery简介 AI Gallery算法、镜像、模型、Workflow等AI数字资产的共享，为高校科研机构、AI应用开发商、解决方案集成商、企业级/个人开发者等群体，提供安全、开放的共享及交易环节，加速AI资产的开发与落地，保障AI开发生态链上各参与方高效地实现各自的商业价值。
IAM 介绍ModelArts所有功能涉及到的IAM权限配置。 IAM权限简介 如果您需要为企业中的员工设置不同的权限访问ModelArts资源，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
订阅免费算法 在AI Gallery中，您可以查找并订阅免费满足业务需要的算法，直接用于创建训练作业。 AI Gallery中分享的算法支持免费订阅，但在使用过程中如果消耗了硬件资源进行部署，管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据和模型。
使用AI Gallery在线推理服务部署模型 AI Gallery支持将训练的模型或创建的模型资产部署为在线推理服务，可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”，则支持在线推理。如果模型的“任务类型”是除“文本问答”和“文本
运行第一条Workflow 了解Workflow的功能与构成后，可通过订阅Workflow的方式尝试运行首条工作流，进一步了解Workflow的运行过程。 数据集准备。 订阅工作流。 运行工作流。 准备数据集 前往AI Gallery，在“资产集市>数据>数据集”页面下载常见生活垃圾图片。
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
准备镜像 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
