检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户在Notebook中创建的“子目录挂载” 图3 选择SFS Turbo 作业日志选择O
创建项目时,如何快速创建OBS桶及文件夹? 在创建项目时需要选择训练数据路径,本章节将指导您如何在选择训练数据路径时,快速创建OBS桶和OBS文件夹。 在创建自动学习项目页面,单击数据集输入位置右侧的“”按钮,进入“数据集输入位置”对话框。 单击“新建对象存储服务(OBS)桶”,
epoch } if not os.path.isdir(train_url): os.makedirs(train_url) torch.save(checkpoint, os.path.join(train_url, 'ckpt_best_{}
volumes属性列表 参数 是否必选 参数类型 说明 nfs 否 Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体说明请参见表6。 host_path 否 Object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体说明请参见表7。
containerd -v # 检查containerd是否安装 在创建CCE集群时,会选择 containerd 作为容器引擎,并默认给机器安装。如尚未安装,说明机器操作系统安装错误。需要重新纳管机器,重新安装操作系统。 安装nerdctl工具。nerdctl是containerd
work_path=None, **kwargs) 根据数据类型创建数据集,用户可以在相同的数据集上创建不同类型的标注任务,如在图像数据集上创建图像分类、物体检测等标注任务。 create_dataset(session,dataset_name=None, data_type=None, data_sources=None
创建团队标注任务 功能介绍 创建团队标注任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dat
创建和管理团队 团队标注功能是以团队为单位进行管理,数据集启用团队标注功能时,必须指定一个团队。一个团队可以添加多个成员。新添加的团队,其成员列表为空。您需要根据实际情况添加即将参与标注任务的成员信息。 一个账号最多可添加10个团队。一个团队最多支持添加100个成员,当超过100时,建议分为多个团队进行管理。
入创建训练作业页面。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法”。 启动方式:选择“自定义”。 镜像:选择上传的自定义镜像。 启动命令: ln -s /home/ma-user/work/coco /home/ma-user/coco
创建训练任务 调试代码 创建训练任务之前,建议先调试代码。 由于Notebook的/cache目录只能支持500G的存储,超过后会导致实例重启,ImageNet数据集大小超过该限制,因此建议用线下资源调试、或用小批量数据集在Notebook调试(Notebook调试方法与使用No
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装,实现新版数据集的创建功能。主要用于通过创建数据集对已有数据(已标注/未标注)进行统一管理的场景,后续常见数据集导入节点或者数据集标注节点。 属性总览 您可以使用CreateDatasetStep
本文提供了端到端案例指导,帮助您快速了解如何在ModelArts Standard上选择合适的训练方案并进行模型训练。 针对不同的数据量和算法情况,推荐以下训练方案: 单机单卡:小数据量(1G训练数据)、低算力场景(1卡Vnt1),存储方案推荐使用“OBS的并行文件系统(存放数据和代码)”。
工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表6 Lease 参数 参数类型 描述 create_at Long 实例创建的时间,UTC毫秒。 duration Long 实例运行时长,以创建时间为起点计算,即“创建时间+duration
自动学习训练作业失败 自动学习训练作业创建失败,一般是因为后台服务故障导致的,建议稍等片刻,然后重新创建训练作业。如果重试超过3次仍无法解决,请联系华为云技术支持。 自动学习训练作业创建成功,但是在运行过程中,由于一些故障导致作业运行失败,排查方式如下: 首次出现请检查您的账户是
对项目的简要描述。 “数据集” 可在右侧下拉框选择已有数据集,或单击“创建数据集”前往新建数据集。 已有数据集:在“数据集”右侧的下拉框中选择,仅展示同类型的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “标签列” 可自行选择您需要预测的列名。
场景一:基于用户指定的数据集创建标注任务,并等待用户标注完成。 使用场景: 用户只创建了一个未标注完成的数据集,需要在工作流运行时对数据进行人工标注。 可以放在数据集导入节点之后,对导入的新数据进行人工标注。 数据准备:提前在ModelArts管理控制台创建一个数据集。 from modelarts
将用户本地开发完成的模型,使用自定义镜像构建成ModelArts Standard推理平台可以用的模型。具体操作请参考从0-1制作自定义镜像并创建模型。 在ModelArts管理控制台,使用创建好的模型部署为在线服务。 登录云监控服务CES管理控制台,设置ModelArts服务的告警规则并配置主题订
desc="this is a demo workflow", steps=[dataset_import] ) 场景三:基于数据集创建节点构建数据集导入节点。数据集创建节点的输出作为数据集导入节点的输入。 from modelarts import workflow as wf # 通过D
参数填写完成后,单击“立即创建”进行规格确认。 参数确认无误后,单击“提交”,完成Notebook的创建操作。 进入Notebook列表,正在创建中的Notebook状态为“创建中”,创建过程需要几分钟,请耐心等待。当Notebook状态变为“运行中”时,表示Notebook已创建并启动完成。
工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表6 Lease 参数 参数类型 描述 create_at Long 实例创建的时间,UTC毫秒。 duration Long 实例运行时长,以创建时间为起点计算,即“创建时间+duration