-
示例:从0到1制作自定义镜像并用于训练(PyTorch+CPU/GPU) - AI开发平台ModelArts
在“规格确认”页面,确认训练作业的参数信息,确认无误后单击“提交”。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。训练作业执行成功后,日志信息如下所示。
-
数据选择(难例) - AI开发平台ModelArts
数据选择(难例) 算法概述 在实际业务场景中,模型维护是一个长期的过程,比如说按照每周、每月进行数据重训练,或者累计数据至一定量时进行定期的重训练。如果将全量的数据用于重训练,需要耗费较大的标注人力和训练耗时。为了提升模型维护效率,可以采用基于难例数据的重训练 。 难例筛选算法对
-
示例:从0到1制作自定义镜像并用于训练(MPI+CPU/GPU) - AI开发平台ModelArts
在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts” 和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表
-
数据发布简介 - AI开发平台ModelArts
数据发布简介 ModelArts在数据准备过程中,针对同一数据源的数据,对不同时间处理或标注后的数据,按照版本进行区分方便后续模型构建和开发时选择对应的数据集版本进行使用。 关于数据集版本 针对刚创建的数据集(未发布前),无数据集版本信息,必须执行发布操作后,才能应用于模型开发或训练。
-
GPU裸金属服务器无法Ping通的解决方案 - AI开发平台ModelArts
Oracle 1521 Oracle通信端口,弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server Remote Desktop Services 3389 Windows远程桌面服务端口,
-
使用ma-cli image build命令在ModelArts Notebook中进行镜像构建 - AI开发平台ModelArts
使用ma-cli image build命令在ModelArts Notebook中进行镜像构建 使用ma-cli image build命令基于指定的Dockerfile进行镜像构建,仅支持在ModelArts Notebook里使用该命令。 $ ma-cli image build
-
功能介绍 - AI开发平台ModelArts
功能介绍 通过对ModelArts数据集能力进行封装,实现新版数据集的创建功能。主要用于通过创建数据集对已有数据(已标注/未标注)进行统一管理的场景,后续常接数据集导入节点或者数据集标注节点。 父主题: 数据集创建节点
-
功能介绍 - AI开发平台ModelArts
功能介绍 通过对ModelArts数据集能力进行封装,实现数据集的标注功能。数据集标注节点主要用于创建标注任务或对已有的标注任务进行卡点标注,主要用于需要对数据进行人工标注的场景。 父主题: 数据集标注节点
-
样例介绍 - AI开发平台ModelArts
该图从上到下代表了对输入图片的每一步数据处理。“image_input”是功能单元接收的输入图片,往下分别经过“preprocess”和“inference”功能单元,“preprocess”功能单元对图片进行预处理,预处理的输出送给模型(“inference”是一个yolov3模
-
发布数据版本 - AI开发平台ModelArts
验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。 “描述” 针对当前发布的数据集版本的描述信息。 “开启难例属性” 仅“图像分类”和“物体检测”类型数据集支持难例属性。 默认不开启。启用后,会将此数据集的难例属性等信息写入对应的Manifest文件中。 数据集版本文件目录结构
-
如何训练作业保持运行中状态 - AI开发平台ModelArts
如何训练作业保持运行中状态 由于需要训练作业处于“运行中”状态才能登录Cloud Shell,因此本文介绍如何使训练作业保持运行中状态,方便您快速通过Cloud Shell登录运行中的训练容器。 通过Sleep命令使训练作业保持运行 如果训练作业使用的是预置框架: 在创建训练作业
-
创建数据集(旧版) - AI开发平台ModelArts
数据集的详细参数 参数名称 说明 数据集输入位置 选择数据集输入位置的OBS路径。 说明: 创建数据集时,此OBS路径下的数据会导入数据集,后续若直接在OBS中修改数据,会造成数据集的数据与OBS的数据不一致,可能导致部分数据不可用。 数据集输出位置 选择数据集输出位置的OBS路径。
-
使用ModelArts Standard自定义算法实现手写数字识别 - AI开发平台ModelArts
识别出此图片的数字是“2”。 本案例中使用的MNIST是比较简单的用做demo的数据集,配套算法也是比较简单的用于教学的神经网络算法。这样的数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练集中的图片相似(黑底白字)才可能预测准确。
-
从AI Gallery下载数据集 - AI开发平台ModelArts
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:根据实际情况选择该数据集的数据类型。 “数据集输入位置”:AI Gallery的数据集下载到OBS的路径,此位置会作为数据集的数据存储路径,数据集输入位置不能和输出位置相同。 “数据集输出位置”:数据集输出位置
-
VS Code连接开发环境失败时,请先进行基础问题排查 - AI开发平台ModelArts
Code连接开发环境失败时,请先进行基础问题排查 VS Code连接开发环境失败时,请参考以下步骤进行基础排查: 排查插件包是否为最新版:在extensions中搜索,看是否需要升级。 检查实例状态是否为运行中,如果是,请执行下一步继续排查。 在VS Code的Terminal中执行如下命令,连接到远端开发环境。
-
图像分割 - AI开发平台ModelArts
在标注作业标注详情中,展示此标注作业下全部数据。 同步新数据 ModelArts会自动将数据集中新增的数据同步至标注作业,包含数据及当前标注作业支持的标注信息。 为了快速获取数据集中最新数据,可在标注作业详情页的“全部”、“未标注”或“已标注”页签中,单击“同步新数据”,快速将数据集中的数据添加到标注作业中。
-
运行 - AI开发平台ModelArts
运行 本地模式 # 基于CPU训练 > python manage.py run --cfg algorithms/ivgSegmentation/config/sample/config.py # 基于单卡GPU训练 > python manage.py run --cfg
-
图像分类 - AI开发平台ModelArts
添加图片,用于数据标注。添加的数据将先导入至标注任务关联的数据集中,然后标注任务会自动同步数据集中最新的数据。 在标注作业详情页面,单击“全部”、“已标注”或“未标注”页签,然后单击左上角“添加数据”,选择添加数据。 图9 添加数据 在弹出的导入对话框中,选择数据来源和导入方式,选择导入的数据路径和数据标注状态。
-
百分位统计 - AI开发平台ModelArts
百分位统计 概述 对用户选择的数值列进行百分位统计。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 统计结果数据集 参数说明 参数 子参数 参数说明 select_columns_str
-
功能介绍 - AI开发平台ModelArts
该节点通过对算法、输入、输出的定义,实现ModelArts作业管理的能力。主要用于数据处理、模型训练、模型评估等场景。主要应用场景如下: 当需要对图像进行增强,对语音进行除噪等操作时,可以使用该节点进行数据的预处理。 对于一些物体检测,图像分类等AI应用场景,可以根据已有的数据使用该节点进行模型的训练。