检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts支持设置子用户的细粒度权限、不同工作空间之间资源隔离。ModelArts工作空间帮您实现项目资源隔离、多项目分开结算等功能。 如果您开通了企业项目管理服务的权限,可以在创建工作空间的时候绑定企业项目ID,并在企业项目下添加用户组,为不同的用户组设置细粒度权限供组里的用户使用。 如
若是“按需计费”的资源池,您可单击操作列的“删除”,即可实现对单个节点的资源释放。 若想批量删除节点,勾选待删除节点名称前的复选框,然后单击名称上方的“删除”,即可实现对多个节点的资源释放。 若是“包年/包月”且资源未到期的资源池,您可单击操作列的“退订”,即可实现对节点的资源释放。支持批量退订节点。
gpu.p4(需申请)/modelarts.vm.ai1.a310(需申请),需申请权限才能使用的规格请在华为云创建工单,由ModelArts运维工程师添加权限。 instance_count 是 Integer 模型部署的实例数,当前限制最大实例数为128,如需使用更多的实例数,需提交工单申请。
描述”,然后单击“确定”。完成标注团队的添加。 团队添加完成后,“标注团队”管理页面呈现新添加的团队,在页面右侧区域,可以查看团队详情。新添加的团队,其成员列表为空,请参考添加成员操作,为您的团队添加成员。 添加成员 在ModelArts管理控制台左侧导航栏中,选择“数据准备>标注团队”,进入“标注团队”管理页面。
镜像中相同的启动命令。 提供的服务可使用HTTPS/HTTP协议和监听的容器端口,使用的协议和端口号请根据模型实际定义的推理接口进行配置。HTTPS协议的示例可参考https示例。 (可选)服务对外提供的端口,提供URL路径为“/health”的健康检查服务(健康检查的URL路径必须为“/health”)。
开发环境的应用示例 本节通过调用一系列API,以创建开发环境实例为例介绍ModelArts API的使用流程。 概述 创建开发环境实例的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用查询支持的镜像列表接口查看开发环境的镜像类型和版本。
返回此错误信息。 如果您使用的是自定义镜像导入的模型,请增大自定义镜像中所使用的web server的keep-alive的参数值,尽量避免由服务端发起关闭连接。如您使用的Gunicorn来作为web server,可以通过Gunicorn命令的--keep-alive参数来设
Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具:Megatron-LM和DeepSpeed,可在具有分布式计算能力的系统上进行训练,并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatron-LM是
通过VPC访问通道的方式访问在线服务 背景说明 如果您希望在自己账号的VPC内部节点访问ModelArts推理的在线服务,可以使用VPC访问通道的功能,用户通过在自己账号的指定VPC下创建终端节点,连接到ModelArts的终端节点服务,即可在自己的VPC节点中访问在线服务。 约束限制
发布和管理AI Gallery中的AI应用 发布本地AI应用到AI Gallery 将AI Gallery中的模型部署为AI应用 管理AI Gallery中的AI应用 父主题: AI Gallery(新版)
必须大于0,不配置默认值为1。当小于1时,代表滚动升级时增加的实例数的百分比;当大于1时,代表滚动升级时最大扩容的实例数。 max_unavailable 否 Float 必须大于0,不配置默认值为0。当小于1时,代表滚动升级时允许缩容的实例数的百分比;当大于1时,代表滚动升级时允许缩容的实例数。 terminat
用户自定义镜像自建的conda环境会查到一些额外的包,影响用户程序,如何解决? 问题现象 用户的自定义镜像运行在Notebook里会查到一些额外的pip包。如下图所示,左侧为自定义镜像运行在本地环境,右侧为运行在Notebook里。 可能原因 Notebook自带moxing、m
object 资源池的metadata信息。 spec PoolSpecModel object 资源池的期望信息。 status PoolStatus object 资源池的状态信息。 表11 PoolMetadata 参数 参数类型 描述 name String 系统自动生成的pool名称,相当于pool
URL 设置为从c.从“设置”页签的“Grafana数据源配置信...获取的HTTP URL信息。 Basic auth 建议开启。 Skip TLS Verify 建议开启。 User 设置为从c.从“设置”页签的“Grafana数据源配置信...获取的用户名信息。 Password
配置Workflow的输入输出目录 功能介绍 统一存储主要用于工作流的目录管理,帮助用户统一管理一个工作流中的所有存储路径,主要分为以下两个功能: 输入目录管理:开发者在编辑开发工作流时可以对所有数据的存储路径做统一管理,规定用户按照自己的目录规划来存放数据,而存储的根目录可以根据用
只有状态为“正常”的版本,才能被设置为当前版本。 删除数据集版本 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,单击操作列的“更多 > 版本管理”,进入数据集“版本管理”页面。 选择需删除的版本所在行,单击操作列的“删除”
算维度存在高优先级的AICORE降频问题,分别为pp stage0的8号卡和pp stage3的60号卡。查看对8号卡的降频分析(图7)可以发现节点降频主要影响了FlashAttention和MatMul两类算子,导致这两类算子的计算性能劣化,从而影响了整体的训练性能。按照htm
欠费后,ModelArts的资源是否会被删除? 欠费后,ModelArts的资源不会被立即删除。 欠费后,您可以在“费用中心”查看欠费详情。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询欠费步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。
0”,存在创建并使用的工作空间,以实际取值为准。 labelSelector 否 String 标签筛选。 status 否 String 资源池状态。状态为空时,返回当前有效的资源池,包括创建中和创建成功的资源池。可选值如下: created: 创建成功的资源池。 failed
创建模型时,OBS文件目录对应镜像里面的目录结构是什么样的? 问题现象 创建模型时,元模型来源指定的OBS目录下存放了自定义的文件和文件夹,都会复制到镜像中去。复制进去的路径是什么,怎么读取对应的文件或者文件夹里面的内容? 原因分析 通过OBS导入模型时,ModelArts会将指定的OBS目录下的所有文件和文件夹复制