-
使用ma-cli image get-image查询ModelArts已注册镜像 - AI开发平台ModelArts
-f / --filter String, 否 镜像名关键字。根据镜像名关键字过滤镜像列表。 -v / --verbose Bool 否 显示详细的信息开关,默认关闭。 -i / --image-id String 否 查询指定镜像ID的镜像详情。 -n / --image-name
-
优化算子执行 - AI开发平台ModelArts
减少不必要的算子执行。比如减少不必要的格式转换算子和存储转连续算子。 加速慢算子的执行速度。遇到此类问题,尝试基于AOE调优(详见性能调优五板斧)或者联系华为工程师分析处理。 图1 优化思路 减少不必要的算子执行 减少不必要的存储转连续算子 PyTorch的tensor对象由表示层和存储层(St
-
创建Notebook实例 - AI开发平台ModelArts
MANAGED:托管,即资源在服务上。 DEDICATED:非托管,即资源在用户账号上,只有在category为EFS时支持。 uri 否 String EFS专属存储盘uri,只有当category为EFS,同时ownership为DEDICATED时必填。 登录弹性文件服务控制台,在文件系统列表中,单击文件系
-
使用自定义引擎创建AI应用 - AI开发平台ModelArts
模型包的名字必须为model。模型包规范请参见模型包规范介绍。 文件大小规范 当使用公共资源池时,SWR的镜像大小(指下载后的镜像大小,非SWR界面显示的压缩后的镜像大小)和OBS模型包大小总和不大于30G。 https示例 使用Flask启动https,Webserver代码示例如下: from
-
准备镜像 - AI开发平台ModelArts
Step3 创建镜像组织 在SWR服务页面创建镜像组织。 图2 创建镜像组织 Step4 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中复制临时登录指令,即可完成登录。 图3 复制登录指令 Step5 获取推理基础镜像
-
昇腾云服务6.3.905版本说明 - AI开发平台ModelArts
905-20240611214128.zip 三方大模型训练和推理代码包 获取路径:Support-E 说明: 如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 AscendCloud-3rdAIGC-6.3.905-20240529154412.zip AIGC场景训练和推理代码包
-
在Windows上安装配置Grafana - AI开发平台ModelArts
na,将其开启,如果已经开启,则直接进入4。 登录Grafana。 Grafana默认在本地的3000端口启动,打开链接http://localhost:3000,出现Grafana的登录界面。首次登录用户名和密码为admin,登录成功后请根据提示修改密码。 父主题: 安装配置Grafana
-
修改服务 - AI开发平台ModelArts
有弹窗提醒。 在线服务参数说明请参见部署为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 批量服务参数说明请参见部署为批量服务。 边缘服务参数说明请参见部署为边缘服务。 方式二:通过服务详情页面修改服务信息 登录ModelArts管
-
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决? - AI开发平台ModelArts
commit,再配合一系列自动化操作来上传和更新管理数据等。每次Commit都会带来额外的一些开销,层数越多镜像越大,如果多次保存后就会有存储显示没那么大,但是镜像已经很大了。镜像超大会导致加载的各种问题,所以这里做了限制。这种场景下,建议找到原始镜像重新构建环境进行保存。 解决方法
-
准备代码 - AI开发平台ModelArts
明。 AscendSpeed是用于模型并行计算的框架,其中包含了许多模型的输入处理方法。 获取路径:Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型类型和权重获取地址 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b
-
配置外网访问(EIP) - AI开发平台ModelArts
通过SSH方式远程访问集群资源,包括2中方式,密码方式或密钥方式,二选一即可。 通过SSH密钥方式登录集群资源,具体操作请参见SSH密钥登录方式。 通过SSH密码方式登录集群资源,具体操作请参见SSH密码登录方式。 父主题: 网络
-
推理服务端到端运维 - AI开发平台ModelArts
在ModelArts管理控制台,使用创建好的AI应用部署为在线服务。 登录云监控服务CES管理控制台,设置ModelArts服务的告警规则并配置主题订阅方式发送通知。具体操作请参考设置告警规则。 当配置完成后,在左侧导航栏选择“云服务监控 > ModelArts”即可查看在线服务的请求情况和资源占用情况,如下图所示。
-
准备代码 - AI开发平台ModelArts
2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 说明: 如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 AscendCloud-OPP-6.3.905-xxx.zip 推理依赖的算子包。 模型软件包结构说明 本教程需要使
-
kubectl工具配置 - AI开发平台ModelArts
ectl后的“配置”按钮。 按照界面提示步骤操作即可。 图6 配置kubectl 验证。 在安装了kubectl工具的机器上执行如下命令,显示集群节点即为成功。 kubectl get node 父主题: k8s Cluster资源配置
-
在Linux上安装配置Grafana - AI开发平台ModelArts
口中并单击“发送”,将复制的命令发送至命令行窗口,如下图所示。 图3 复制粘贴按钮 图4 粘贴并发送安装命令 登录弹性云服务器。根据需要选择登录方式,具体操作请参考登录弹性云服务器 。 执行如下命令安装libfontconfig1。 sudo apt-get install -y
-
开发环境中如何选择存储 - AI开发平台ModelArts
存储支持在线按需扩容。 缺点是只能在单个开发环境中使用 。 并行文件系统PFS 说明: 并行文件系统PFS为白名单功能,如需使用,请联系华为技术支持开通。 适合直接使用PFS桶作为持久化存储进行AI开发和探索场景。 数据集的存储。将数据集直接挂载到Notebook进行浏览和数据
-
权限管理 - AI开发平台ModelArts
表自己访问特定的云服务,以完成其在ModelArts平台上执行的AI计算任务。 综上,对于图1 权限管理抽象可以做如下解读: 用户访问任何云服务,均是通过标准的IAM权限体系进行访问控制。用户首先需要具备相关云服务的权限(根据您具体使用的功能不同,所需的相关服务权限多寡亦有差异)。
-
环境准备 - AI开发平台ModelArts
环境准备 开通裸金属服务器资源(请见DevServer资源开通),并在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 启动华为云预置镜像环境,本案例使用的贵阳一的镜像环境。 #shell docker run --privileged --name chatglm-test
-
部署服务 - AI开发平台ModelArts
dge。 real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web
-
创建OBS桶 - AI开发平台ModelArts
OBS桶中进行存储、读取。 因此,在使用ModelArts之前您需要创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 操作步骤 登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。例如,创建名称为“c-flowers”的OBS桶。 图1 创建桶 创建桶