检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDXL基于Lite Server适配PyTorch NPU的Finetune训练指导(6.3.905) Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。SDXL Finetune是指在已经训练好的SDXL模型
Open-Sora-Plan1.0基于Lite Server适配PyTorch NPU训练推理指导(6.3.907) 本文档主要介绍如何在ModelArts Lite Server上,使用PyTorch_npu+华为自研Ascend Snt9B硬件,完成Open-Sora-Plan1
批量更新团队标注样本的标签 功能介绍 批量更新团队标注样本的标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/data
Llama 3.2-Vision基于Lite Server适配Pytorch NPU训练微调指导(6.3.912) 方案概览 本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展Llama 3.2-Vision-11B模型的训练过程,包括finetune
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建,并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
批量更新样本标签 功能介绍 批量更新样本标签,包括添加、修改和删除样本标签。当请求体中单个样本的“labels”参数传空列表时,表示删除该样本的标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
自动化脚本快速部署推理服务(推荐) 场景描述 本方案提供了一键式安装脚本start.sh,用于快速部署推理服务。脚本中实现了以下步骤的自动化操作: 环境检查 拉取镜像 根据实际值更新rank_table_file.json 启动容器 进入容器启动服务 前提条件 已经完成资源购买。
查询处理任务列表 功能介绍 查询处理任务列表,包括“特征分析”任务和“数据处理”两大类任务。可通过指定“task_type”参数来单独查询某类任务的列表。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 “数据处理”是
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境,具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone,确保集群可以访问公网。
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建,并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好Server环境,具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的Server和昇腾Snt9b资源。 安装过程需要连接互联网git
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为
InternVL2&2.5系列模型基于Lite Server适配PyTorch NPU训练指导(6.5.901) 方案概览 本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展InternVL2-8B, InternVL2-26B
使用AI Gallery SDK构建自定义模型 AI Gallery的Transformers库支持部分开源的模型结构框架,并对昇腾系列显卡进行了训练/推理性能优化,可以做到开箱即用。如果你有自己从头进行预训练的模型,AI Gallery也支持使用SDK构建自定义模型接入AI Gallery。
创建数据集导出任务 功能介绍 创建数据集导出任务,可导出至OBS或新数据集。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建,并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬