检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lcano插件支持开启路由加速特性。 训练使用的Python版本是3.7或3.9,否则无法实现ranktable路由加速。 训练作业的任务节点数要大于或等于3,否则会跳过ranktable路由加速。建议在大模型场景(512卡及以上)使用ranktable路由加速。 脚本执行目录不
libnccl2 2.18.1 nccl-test v.2.13.6 docker 20.10.23 RoCE路由配置 支持 GP Vnt1裸金属服务器支持的镜像详情 Vnt1规格在北京四、北京一和上海一虽然规格相同,但是产品的配置、发布时间都存在很大差异,因此镜像不能共用。 镜像名称:Ubuntu-22
更快。 由于请求不经过推理平台,所以会丢失以下功能: 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(
sh”。其中,启动脚本的完整代码请参见代码示例。 (可选)启用ranktable动态路由 如果训练作业需要使用ranktable动态路由算法进行网络加速,则可以联系技术支持开启集群的cabinet调度权限。同时,训练作业要满足如下要求才能正常实现ranktable动态路由加速。 训练使用的Python版本是3.7、3
更快。 由于请求不经过推理平台,所以会丢失以下功能: 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(
orks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 apiVersion 是 String API版本。可选值如下: v1
PC的SNAT,需要提交工单联系技术支持在专属资源池VPC的路由中添加指向对等连接的默认路由。当您开启默认路由后,在打通VPC时,会给ModelArts网络0.0.0.0/0路由作为默认路由,此时无需提交工单添加默认路由即可完成网络配置。 步骤二:配置公网SNAT网关 参考通过公
PC的SNAT,需要提交工单联系技术支持在专属资源池VPC的路由中添加指向对等连接的默认路由。当您开启默认路由后,在打通VPC时,会给ModelArts网络0.0.0.0/0路由作为默认路由,此时无需提交工单添加默认路由即可完成网络配置。 父主题: 基本配置
ame} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 network_name 是 String 系统自动生成的网络名称。 请求参数 无 响应参数 状态码:200 表2 响应Body参数
ame} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 network_name 是 String 网络资源名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type
ame} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 network_name 是 String 网络资源名称。 请求参数 无 响应参数 状态码:200 表2 响应Body参数 参数 参数类型
状态为成功Success。 就绪探针:用于检测应用实例是否已经准备好接收流量。如果就绪探针失败,即实例未准备好,会从服务负载均衡的池中剔除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。
分页查询智能任务列表,包括“智能标注”和“自动分组”两大类智能任务。可通过指定“type”参数来单独查询某类任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动
Cluster资源使用 在Lite Cluster资源池上使用Snt9B完成分布式训练任务 在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 在Lite Cluster资源池上使用Snt9B完成推理任务 在Lite Cluster资源池上使用Ascend
操作资源池中的节点和k8s集群。 适用于已经自建AI开发平台,仅有算力需求的用户。要求用户具备k8s基础知识和技能。 ModelArts Edge 为客户提供了统一边缘部署和管理能力,支持统一纳管异构边缘设备,提供模型部署、Al应用和节点管理、资源池与负载均衡、应用商用保障等能力
服务部署。 约束与限制 需要申请单个模型大小配额和添加使用节点本地存储缓存的白名单。 需要使用自定义引擎Custom,配置动态加载。 需要使用专属资源池部署服务。 专属资源池磁盘空间需大于1T。 操作事项 申请扩大模型的大小配额和使用节点本地存储缓存白名单 上传模型数据并校验上传对象的一致性
ModelArts上没有配置委托授权。 OBS文件加密上传导致。ModelArts不支持OBS加密文件。 OBS桶的权限和访问ACL设置不正确导致。 创建训练作业时,代码目录和启动文件设置有误。 处理办法 查看OBS桶与ModelArts是否在同一个区域 查看创建的OBS桶所在区域。 登录OBS管理控制台。
状态为成功Success。 就绪探针:用于检测应用实例是否已经准备好接收流量。如果就绪探针失败,即实例未准备好,会从服务负载均衡的池中剔除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。
使用容器化部署,导入的元模型有大小限制,详情请参见导入模型对于镜像大小限制。 前提条件 已完成模型开发和训练,使用的AI引擎为ModelArts支持的类型和版本,详细请参见推理支持的AI引擎。 已完成训练的模型包,及其对应的推理代码和配置文件,且已上传至OBS目录中。 确保您使用的OBS与ModelArts在同一区域。
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告 华为云ModelArts服务MindStudio,ML Studio,ModelBox镜像将在2024年6月30日00:00(北京时间)正式退市。 下线范围 下线Region:华为云全部Region