-
在线服务处于运行中状态时,如何填写推理请求的request header和request body - AI开发平台ModelArts
的值,以完成对该请求的签名认证。具体指导参见链接:访问在线服务(APP认证)。 Body: body的组装和模型强相关,不同来源的模型body的组装方式不同。 模型为从容器镜像中导入的:需要按照自定义镜像的要求组织,请咨询该镜像的制作人。 模型为从对象存储(OBS)导入的:此时对
-
登录登出Gallery CLI配置工具 - AI开发平台ModelArts
CLI上传或下载AI Gallery仓库的资产,使用完备后登出Gallery CLI清理缓存。 登录Gallery CLI 在服务器执行如下命令登录Gallery CLI配置工具。 gallery-cli login 显示如下信息表示登录成功。“/test”是自定义的服务器的缓存目录,token是系统自动生成的文件夹。
-
通过自定义镜像创建AI应用失败 - AI开发平台ModelArts
导入AI应用使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号,没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像 处理方法 到SWR检查下对应的镜像是否存在,对应镜像的镜像地址是否和实际地址一致,大小写,拼写等是否一致。
-
使用Gallery CLI配置工具下载文件 - AI开发平台ModelArts
获取“repo_id”和待下载的文件名。 获取“repo_id” 在AI Gallery页面的资产详情页,单击复制完整的资产名称,如图1所示,获取到的信息即为“repo_id”。例如,复制出的信息为“ur5468675/test_cli_model1”,则该资产的“repo_id”为“u
-
训练作业的“/cache”目录是否安全? - AI开发平台ModelArts
训练作业的“/cache”目录是否安全? ModelArts训练作业的程序运行在容器中,容器挂载的目录地址是唯一的,只有运行时的容器能访问到。因此训练作业的“/cache”是安全的。 父主题: 创建训练作业
-
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 - AI开发平台ModelArts
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 停止在线服务后,需要等待几分钟等待资源释放。 父主题: 资源池
-
环境准备 - AI开发平台ModelArts
本文以弹性裸金属作为开发环境,弹性裸金属支持深度自定义环境安装,可以方便的替换驱动、固件和上层开发包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 开通裸金属服务器资源请见DevServer资源开通,在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 父主题: 训练业务昇腾迁移通用指导
-
使用Gallery CLI配置工具上传文件 - AI开发平台ModelArts
复制完整资产名称 获取待上传的文件名 获取待上传的文件在服务器的绝对路径。 上传单个文件 在服务器执行如下命令,可以将服务器上的文件上传到AI Gallery仓库里面。 gallery-cli upload {repo_id} {文件名} 如下所示,表示将服务器上的文件“D:\workp
-
更新模型服务的单个属性 - AI开发平台ModelArts
更新模型服务的单个属性 功能介绍 更新模型服务的单个属性,目前只支持instance_count(更新模型服务实例数量),仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生
-
Step2 构建成功的镜像注册到镜像管理模块 - AI开发平台ModelArts
Step2 构建成功的镜像注册到镜像管理模块 将Step1 在Notebook中构建一个新镜像中构建成功的自定义镜像注册到镜像管理中,方便后续使用。 登录ModelArts控制台,在左侧导航栏中选择“镜像管理”,单击“注册镜像”,进入注册镜像页面。 输入镜像源地址,选择架构和类型后,单击“立即注册”。
-
使用ma-cli image get-image查询ModelArts已注册镜像 - AI开发平台ModelArts
显示详细的信息开关,默认关闭。 -i / --image-id String 否 查询指定镜像ID的镜像详情。 -n / --image-name String 否 查询指定镜像名称的镜像详情。 -wi / --workspace-id String 否 查询指定工作空间下的镜像信息。
-
管理ModelArts服务的委托授权 - AI开发平台ModelArts
调用查看授权列表接口查看用户的授权信息。 在管理用户授权时,可以调用删除授权接口删除指定用户的授权或者删除全量用户的授权。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。 确认服务的部署区域,获取项目名称和ID、获取帐号名和ID和获取用户名和ID。 操作步骤
-
我的Gallery介绍 - AI开发平台ModelArts
我的Gallery介绍 登录AI Gallery,单击右上角“我的Gallery”进入我的Gallery页面,在“我的Gallery”页面可以查看个人资产、个人收藏、个人信息等内容。 表1 我的Gallery 分类 子类 功能说明 我的资产 模型 展示个人创建的模型,可以查看模型的发布时间、订阅量、收藏量等信息。
-
服务预测请求体大小限制是多少? - AI开发平台ModelArts
服务预测请求体大小限制是多少? 问题现象 服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容,这些内容的大小ModelArts是否有限制? 原因分析 当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地
-
GP Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理 - AI开发平台ModelArts
Megatron-Deepspeed是一个由NVIDIA开发的基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具:Megatron-LM和DeepSpeed,可在具有分布式计算能力的系统上进行训练,并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatro
-
昇腾云服务6.3.905版本说明 - AI开发平台ModelArts
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/a
-
昇腾云服务6.3.T061版本说明 - AI开发平台ModelArts
昇腾云服务6.3.T061版本说明 本文档主要介绍昇腾云服务6.3.T061版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 新增主要特性 获取方式 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud
-
准备代码 - AI开发平台ModelArts
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6
-
修改Notebook SSH远程连接配置 - AI开发平台ModelArts
当链接关闭后失效;新打开建立的链接只允许当前设置的IP进行访问。 设置远程连接IP地址 图3 设置远程连接IP地址 此处的IP地址,请填写外网IP地址。如果用户使用的访问机器和华为云ModelArts服务的网络有隔离,则访问机器的外网地址需要在主流搜索引擎中搜索“IP地址查询”获取,而不是
-
NPU Snt9B集合通信算子多机多卡性能测试指导 - AI开发平台ModelArts
前提条件 确保主节点已经配置了其他节点机器的免密登录,配置方法参考NPU Snt9B裸金属服务器多机免密互通解决方案。 确保mpirun的安装路径都是相同的。 确保设置的hostfile文件位于主节点中,且配置格式如下所示。 # 训练节点ip:每节点的进程数 192.168.1.1:8 图1