检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练管理 创建算法 查询算法列表 查询算法详情 更新算法 删除算法 获取支持的超参搜索算法 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志(预览) 查询训练作业指定任务的日志(OBS链接) 查询训练作业指定任务的运行指标 查询训练作业列表
String 算法api版本,标识新旧版。 is_valid String 算法可用性。 state String 算法状态。 tags Array of Map<String,String> objects 算法标签。 attr_list Array of strings 算法属性列表。
NPU分布式训练 场景描述 ranktable路由规划是一种用于分布式并行训练中的通信优化能力,在使用NPU的场景下,支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划,进而提升节点之间的通信速度。 本案例介绍如何在ModelArts Lite场景下使用ranktable路由规划完成Pytorch
查询预置算法 功能介绍 查看预置模型的详情。 URI GET /v1/{project_id}/built-in-algorithms 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
NCCL_IB_GID_INDEX=3: 使用RoCE v2协议,默认使用RoCE v1,但是v1在交换机上没有拥塞控制,可能丢包,而且后面的交换机不会支持v1,就无法启动。 NCCL_IB_TC=128:数据包走交换机的队列4通道,这是RoCE协议标准。 NCCL_IB_TIMEOUT=22:把超
删除算法 功能介绍 删除算法。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/algorithms/{algorithm_id}
String 算法来源类型。 api_version String 算法api版本,标识新旧版。 is_valid String 算法可用性。 state String 算法状态。 tags Array of Map<String,String> objects 算法标签。 attr_list
系统设置的默认值为128,表示数据包走交换机的队列4,队列4使用PFC流控机制来保证网络是无损的。 如果训练时,需要提升通信稳定性,可以增加配置其他NCCL环境变量,如表2所示。 表2 建议增加的环境变量 环境变量 建议值 说明 NCCL_IB_TIMEOUT 18 用于控制IB通信超时时间,算法为“4.096
据预测结果内容,可识别出此图片的数字是“2”。 本案例中使用的MNIST是比较简单的用做demo的数据集,配套算法也是比较简单的用于教学的神经网络算法。这样的数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练
th是在假定是Ring算法的情况下计算出来的。 计算公式是有假设的: 总线带宽 = 算法带宽 * 2 ( N-1 ) / N ,算法带宽 = 数据量 / 时间 但是这个计算公式的前提是用Ring算法,Tree算法的总线带宽不可以这么计算。 如果Tree算法算出来的总线带宽相当于是
使用自动分组智能标注作业 为了提升智能标注算法精度,可以均衡标注多个类别,有助于提升智能标注算法精度。ModelArts内置了分组算法,您可以针对您选中的数据,执行自动分组,提升您的数据标注效率。 自动分组可以理解为数据标注的预处理,先使用聚类算法对未标注图片进行聚类,再根据聚类结果进行处理,可以分组打标或者清洗图片。
post(url, data=body) print(response.content) 由于高速通道特性会缺失负载均衡的能力,因此在多实例时需要自主制定负载均衡策略。 父主题: Standard推理部署
post(url, data=body) print(response.content) 由于高速通道特性会缺失负载均衡的能力,因此在多实例时需要自主制定负载均衡策略。 父主题: 访问在线服务支持的访问通道
模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 “一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选
文件会被删除,再次启动时需要重新加载。为了避免反复加载,平台允许使用资源池节点的本地存储空间来加载模型包,并在服务停止和重启时仍有效(通过哈希值保证数据一致性) 使用大模型要求用户采用自定义引擎,并开启动态加载的模式导入模型。基于此,需要执行以下操作: 如果模型超过默认配额值,需
入输出等数据配置在训练容器中的路径。 查看算法详情 创建完成的算法,在ModelArts Standard控制台,在“资产管理 > 算法管理 > 我的算法”页面,单击算法名称进入详情页,查看算法信息。 发布算法 发布算法:创建完成的算法,支持发布到AI Gallery,并分享给其他用户使用。
String 算法api版本,标识新旧版。 is_valid String 算法可用性。 state String 算法状态。 tags Array of Map<String,String> objects 算法标签。 attr_list Array of strings 算法属性列表。
使用订阅算法训练结束后没有显示模型评估结果 问题现象 AI Gallery中的YOLOv5算法,训练结束后没有显示模型评估结果。 原因分析 未标注的图片过多,导致没有模型评估结果。 处理方法 对所有训练数据进行标注。 父主题: 预置算法运行故障
发布免费算法 在AI Gallery中,您可以将个人开发的算法免费分享给他人使用。 前提条件 在ModelArts的算法管理中已准备好待发布的算法。创建算法的相关操作请参见创建算法。 创建算法时,算法代码存储的OBS桶内不能存在文件和文件夹重名的情况,这样算法可能会发布失败。如果算法发布成功,则代码开放会失败。
注册并登录华为云,且创建好OBS桶用于存储数据和模型。 订阅算法 登录“AI Gallery”。 选择“资产集市 > 算法”,进入算法页面,该页面展示了所有共享的算法。 搜索业务所需的算法,请参见查找资产。 单击目标算法进入详情页面。 在详情页面您可以查看算法的“描述”、“交付、”“限制”、“版本”、“关联资产”和“评论”等信息。