正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件
线下容器镜像构建及调试 镜像构建 导出conda环境 首先拉起线下的容器镜像: # run on terminal docker run -ti ${your_image:tag} 在容器中输入如下命令,得到pytorch.tar.gz: # run on container #
安全边界 云服务的责任共担模型是一种合作方式,其中云服务提供商和云服务客户共同承担云服务的安全和合规性责任。这种模型是为了确保云服务的安全性和可靠性而设计的。 根据责任共担模型,云服务提供商和云服务客户各自有一些责任。云服务提供商负责管理云基础架构,提供安全的硬件和软件基础设施,并确保云基础架构的可用性
部署为边缘服务 AI应用准备完成后,您可以将AI应用部署为边缘服务。在“模型部署>边缘服务”界面,列举了用户所创建的边缘服务。边缘服务依赖智能边缘平台(IEF),部署前需要在智能边缘平台上创建边缘节点。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用
Cluster资源池节点故障如何定位 故障说明和处理建议 图1 Lite池故障处理流程 对于ModelArts Lite资源池,每个节点会以DaemonSet方式部署node-agent组件,该组件会检测节点状态,并将检测结果写到K8S NodeCondtition中。同时,节点故障指标默认会上报到
在DevServer上部署SD WebUI推理服务 本章节主要介绍如何在ModelArts的DevServer环境上部署Stable Diffusion的WebUI套件,使用NPU卡进行推理。 步骤一 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通
Lite Cluster使用流程 ModelArts Lite Cluster面向k8s资源型用户,提供托管式k8s集群,并预装主流AI开发插件以及自研的加速插件,以云原生方式直接向用户提供AI Native的资源、任务等能力,用户可以直接操作资源池中的节点和k8s集群。本文旨在帮助您了解
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件
IAM 介绍ModelArts所有功能涉及到的IAM权限配置。 IAM权限简介 如果您需要为企业中的员工设置不同的权限访问ModelArts资源,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理
发布本地AI应用到AI Gallery 场景描述 AI Gallery自定义AI应用能力为您提供了一个自由灵活的AI应用创建方式,您可以基于AI Gallery上提供的基础能力,发挥您的创造力,通过自定义代码的形式,自由地构建出您需要的AI应用形态。 准备AI应用运行文件“app.py
使用自定义引擎在ModelArts Standard创建AI应用 使用自定义引擎创建AI应用,用户可以通过选择自己存储在SWR服务中的镜像作为AI应用的引擎,指定预先存储于OBS服务中的文件目录路径作为模型包来创建AI应用,轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景
迁移适配 本文以PyTorch框架在NPU上完成自动迁移为例,对适配过程需要修改的部分进行说明。并且针对单卡环境以及单机多卡deepspeed环境提供训练脚本。无特别说明,以ChatGLM-6B源代码根目录作为当前目录。 自动迁移适配 修改“ptuning/main.py”,添加deepspeed_npu
使用ModelArts Standard专属资源池进行单机多卡训练 操作流程 准备工作: 购买服务资源(VPC、SFS、SWR和ECS) 配置权限 创建专属资源池(打通VPC) 在ECS服务器挂载SFS Turbo存储 在ECS中设置ModelArts用户可读权限 安装和配置OBS
审计与日志 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪任务后,CTS
ModelArts支持云审计的关键操作 公有云平台提供了云审计服务。通过云审计服务,您可以记录与ModelArts相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 数据管理支持审计的关键操作列表 表1 数据管理支持审计的关键操作列表 操作名称 资源类型 事件名称
权限管理 ModelArts作为一个完备的AI开发平台,支持用户对其进行细粒度的权限配置,以达到精细化资源、权限管理之目的。这类特性在大型企业用户的使用场景下很常见,但对个人用户则显得复杂而意义不足,所以建议个人用户在使用ModelArts时,参照配置访问授权来进行初始权限设置。
(可选)本地服务器安装ModelArts SDK 如果需要在个人PC或虚拟机上使用ModelArts SDK,则需要在本地环境中安装ModelArts SDK,安装后可直接调用ModelArts SDK轻松管理数据集、创建ModelArts训练作业及创建AI应用,并将其部署为在线服务
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试:评估在请求并发在一定范围内波动,
创建团队标注任务 如果您在创建标注作业时,即启用团队标注,且指派了某一团队负责标注,系统将默认基于此团队创建一个标注任务。您可以在创建数据标注任务后,在“我创建的”页面查看此任务。 您还可以重新创建一个团队标注任务,指派给同一团队的不同成员,或者指派给其他标注团队。 团队标注作业的创建方式