检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts Standard上运行GPU单机多卡训练作业 操作流程 准备工作: 购买服务资源(VPC、SFS、SWR和ECS) 配置权限 创建专属资源池(打通VPC) 在ECS服务器挂载SFS Turbo存储 在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具
找不到新创建的数据集 目前旧版数据集页面不展示新版数据集,新版数据集查看需跳转到新版的页面。 父主题: Standard数据管理
如何删除数据集图片 登录ModelArts管理控制台,左侧菜单栏选择“数据管理>数据标注”,进入数据标注列表,单击需要删除图片的数据集,进入标注详情页。 在“全部”、“未标注”或“已标注”页面中,依次选中需要删除的图片,或者“选择当前页”选中该页面所有图片,然后单击删除。在弹出的
如何查看新版数据集的标注详情 登录ModelArts管理控制台,左侧菜单栏选择“数据管理>数据集”。 按照数据集名称,找到您想查看的数据集,单击该数据集名称,进入数据集概览页。 在“概览”页签下,标注信息框,单击“查看标注详情”即可。 父主题: Standard数据管理
资源超分对Notebook实例有什么影响? Notebook超分,是指一个节点中CPU、内存共享的场景。为了充分利用资源,在专属池中存在超分情况。 举例:一个专属池中有1个8U64G的CPU节点,如创建2U8G规格的Notebook,因为超分最多可启动 8U/(2U*0.6)= 6
规格中数字分别代表什么含义? 在创建作业时,若需选择资源规格,您可通过规格名称了解对应规格的相关信息,如加速卡显存、CPU核心数、内存、硬盘大小。 例如,“GPU: 1*GP-Vnt1(32GB) | CPU: 8 核 64GB 3200GB”中,32G为GPU显存、8核为CPU
支持哪些型号的Ascend芯片? 目前支持Ascend Snt3和Snt9、Snt9、Snt9B、Snt9C。Ascend应用案例请参见Ascend应用样例。 模型训练:ModelArts中支持使用Snt9、Snt9B训练模型。 模型推理:在ModelArts中将模型部署上线为在
ModelArts SDK、OBS SDK和MoXing的区别? ModelArts SDK ModelArts服务提供的SDK,可调用ModelArts功能。您可以下载SDK至本地调用接口,也可以在ModelArts Notebook中直接调用。 ModelArts SDK提供
infiniband驱动的安装 infiniband驱动的安装 如果安装了libibverbs-dev库后仍然无法使能infiniband网卡,您可以直接安装infiniband官方驱动,以使用infiniband网卡进行分布式通信,提升训练性能。infiniband驱动需要在制作镜像时安装。
创建OBS桶用于ModelArts存储数据 由于ModelArts本身没有数据存储的功能,ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。 AI开发过程中的输入数据
什么是Workflow MLOps简介 在介绍Workflow之前,先了解MLOps的概念。 MLOps(Machine Learning Operation)是“机器学习”(Machine Learning)和“DevOps”(Development and Operation
在ModelArts控制台查看监控指标 在总览页查看ModelArts监控指标 在ModelArts控制台的总览页,支持查看生产概况(即总体作业运行数量)、资源占用情况、训练作业资源利用情况。您可以单击生产概况的链接、资源池名称、训练作业,跳转到对应界面查看更多详情。 图1 总览页查看监控信息
创建并管理工作空间 工作空间是白名单功能,如果有试用需求,请提工单申请权限。 背景信息 ModelArts的用户需要为不同的业务目标开发算法、管理和部署模型,此时可以创建多个工作空间,把不同应用开发过程的输出内容划分到不同工作空间中,便于管理和使用。 基于工作空间可以实现资源逻辑
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(
训练失败并提示“Cann软件与Ascend驱动版本不匹配”。 原因分析 当昇腾规格的训练作业在ModelArts训练平台上运行时,会自动对Cann软件与Ascend驱动的版本匹配情况进行检查。如果平台发现版本不匹配,则会立即训练失败,避免后续无意义的运行时长。 解决方案 专属资源池的Ascend驱
查询工作流定时调度详情 功能介绍 查询工作流调度详情。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/wor
删除工作流定时调度信息 功能介绍 删除工作流调度信息。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/
创建数据集导出任务 功能介绍 创建数据集导出任务,可导出至OBS或新数据集。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id
查询数据处理的算法类别 功能介绍 查询数据处理的算法类别。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks/items
分页查询智能任务列表 功能介绍 分页查询智能任务列表,包括“智能标注”和“自动分组”两大类智能任务。可通过指定“type”参数来单独查询某类任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。