-
数据管理简介 - AI开发平台ModelArts
型有:数据校验、数据清洗、数据选择、数据增强。 删除数据集 删除数据集以释放资源。 不同类型数据集支持的功能列表 其中,不同类型的数据集,支持不同的功能,详细信息请参见表2。 表2 不同类型的数据集支持的功能 数据集类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本
-
导入AI应用对于镜像大小的限制 - AI开发平台ModelArts
ModelArts部署使用的是容器化部署,容器运行时有空间大小限制,当用户的模型文件或者其他自定义文件,系统文件超过容器引擎空间大小时,会提示镜像内空间不足。 当前,公共资源池容器引擎空间的大小最大支持50G,专属资源池容器引擎空间的默认为50G,专属资源池容器引擎空间可在创建资源池时自定义设置,设置
-
自动分组 - AI开发平台ModelArts
像分割”类型的数据集支持自动分组功能。 启动自动分组任务 登录ModelArts管理控制台,在左侧菜单栏中选择“数据管理>数据集”,进入“数据集”管理页面。 在数据集列表中,选择“物体检测”或“图像分类”类型的数据集,单击数据集名称进入“数据集概览页”。 在“数据集概览页”,单击右上角“开始标注”,进入数据集详情页。
-
JupyterLab默认工作路径是什么? - AI开发平台ModelArts
的,跟当前实例空间没有关系。如果用户需要将内容同步到实例空间,需要选中内容,单击“Sync OBS”来实现将选中内容同步到当前容器空间。 带EVS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook实例时,系统自动分配的EVS空间。 在文件列表
-
数据域迁移 - AI开发平台ModelArts
数据域迁移 CycleGan算子概述 基于CycleGAN用于生成域迁移的图像,即将一类图片转换成另一类图片,把X空间中的样本转换成Y空间中的样本。CycleGAN可以利用非成对数据进行训练。模型训练时运行支持两个输入,分别代表数据的原域和目标域,在训练结束时会生成所有原域向目标域迁移的图像。
-
GPU裸金属服务器无法Ping通的解决方案 - AI开发平台ModelArts
Oracle 1521 Oracle通信端口,弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server Remote Desktop Services 3389 Windows远程桌面服务端口,通过这
-
训练容错检查 - AI开发平台ModelArts
c/volcano下的“.host”文件中的域名解析成功) 磁盘空间-容器根目录 disk-size root 无 大于32GB 磁盘空间-/dev/shm目录 disk-size shm 无 大于1GB 磁盘空间-/cache目录 disk-size cache 无 大于32GB
-
日志提示"write line error" - AI开发平台ModelArts
"根目录空间。 本地数据、文件保存将"/cache"目录3.5T空间用完了。 云上训练磁盘空间一般指如下两个目录的磁盘空间: “/”根目录,是docker中配置项“base size”,默认是10G,云上统一改为50G。 “/cache”目录满了,一般是3.5T存储空间满了,具体
-
从AI Gallery下载数据集 - AI开发平台ModelArts
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:根据实际情况选择该数据集的数据类型。 “数据集输入位置”:AI Gallery的数据集下载到OBS的路径,此位置会作为数据集的数据存储路径,数据集输入位置不能和输出位置相同。 “数据集输出位置”:数据集输出位置
-
导入AI应用对于镜像大小限制 - AI开发平台ModelArts
用户在导入AI应用后,部署服务时,提示磁盘空间不足:“No space left on device”。 原因分析 ModelArts部署使用的是容器化部署,容器运行时有空间大小限制,当用户的模型文件或者其他自定义文件,系统文件超过Docker size大小时,会提示镜像内空间不足。 处理方法 公共资源池容器Docker
-
数据清洗 - AI开发平台ModelArts
do_validation 否 True 是否做数据校验,可填True或者False。表示数据清洗前需要做数据校验,否则只做数据清洗。 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。
-
数据管理 - AI开发平台ModelArts
理、音视频分析等;同时提供数据筛选、数据分析、数据处理、智能标注、团队标注以及版本管理等功能,AI开发者可基于该框架实现数据标注全流程处理。如图1所示。 图1 数据标注全流程 数据管理平台提供了聚类分析、数据特征分析、数据清洗、数据校验、数据增强、数据选择等分析处理能力,可帮助开
-
数据管理 - AI开发平台ModelArts
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理
-
自定义python包中如果引用model目录下的文件,文件路径怎么写 - AI开发平台ModelArts
#获取文件当前工作目录路径(绝对路径) os.path.realpath(__ file __) #获得文件所在的路径(绝对路径) 也可在搜索引擎寻找其他获取文件路径的方式,使用获取到的路径进行文件读写。 父主题: 编写训练代码
-
数据集管理 - AI开发平台ModelArts
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理
-
步骤总览 - AI开发平台ModelArts
购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 基本配置: 权限配置 obsutils安装和配置 (可选)工作空间配置 训练: 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 单机多卡 资源购买: 购买虚拟私有云VPC
-
折线图 - AI开发平台ModelArts
"column_a" "column_a,column_b" start_index - 画折线图时,数据集转成的数组的起始索引 end_index - 画折线图时,数据集转成的数组的终点索引 figure_length - 图的长度 figure_width - 图的宽度 样例 inputs
-
镜像保存如何保证能正常保存,不会因为超过35G而保存失败? - AI开发平台ModelArts
例,这样在实例中可操作的空间才会大,可自由安装的包才能更多,一般建议原始的启动Notebook的基础镜像在SWR侧查看大小不要超过6G。 镜像保存主要保存在/home/ma-user路径下除挂载路径/home/ma-user/work以外的目录,请将数据集等放到work路径下,不要放到非work路径下。
-
发布数据集 - AI开发平台ModelArts
发布数据集 ModelArts在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数据集(未
-
准备数据 - AI开发平台ModelArts
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以