-
Manifest文件导入规范说明 - AI开发平台ModelArts
Manifest文件中定义了标注对象和标注内容的对应关系。此导入方式是指导入数据集时,使用Manifest文件。选择导入Manifest文件时,可以从OBS导入。当从OBS导入Manifest文件时,需确保当前用户具备Manifest文件所在OBS路径的权限。 Manifest文件编写规范要求较多
-
OBS导入数据简介 - AI开发平台ModelArts
可以导入未标注或已标注数据 已标注数据格式规范:视频标注 其他 自由格式 支持 导入的是未标注数据 - 表格 表格 支持 还支持从DWS、DLI、MRS导入数据。 格式规范:表格 - 父主题: 从OBS导入数据
-
示例:从 0 到 1 制作自定义镜像并用于训练(MindSpore+Ascend) - AI开发平台ModelArts
示例:从 0 到 1 制作自定义镜像并用于训练(MindSpore+Ascend) 场景描述 Step1 创建OBS桶和文件夹 Step2 准备脚本文件并上传至OBS中 Step3 制作自定义镜像 Step4 上传镜像至SWR Step5 在ModelArts上创建Notebook并调试
-
在推理生产环境中部署推理服务 - AI开发平台ModelArts
扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台中,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。 图5 部署在线服务 设置部署服务名称,选择Step2 部署模型中创建的AI应用;
-
Step3 制作自定义镜像 - AI开发平台ModelArts
算”,“镜像”选择“公共镜像”,推荐使用Ubuntu18.04的镜像。 安装Docker。 以Linux aarch64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL
-
obsutil安装和配置 - AI开发平台ModelArts
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命
-
OBS目录导入操作 - AI开发平台ModelArts
表格数据集从OBS导入操作 ModelArts支持从OBS导入表格数据,即csv文件。 表格数据集导入说明: 导入成功的前提是,数据源的schema需要与创建数据集指定的schema保持一致。其中schema指表格的列名和类型,创建数据集时一旦指定,不支持修改。 从OBS导入c
-
下载并安装ToolKit工具 - AI开发平台ModelArts
通过Marketplace安装 在PyCharm中选择“File > Settings > Plugins”,在Marketplace里搜索“ModelArts”,单击“Install”即可完成安装。 图1 通过Marketplace安装 通过该方式安装的PyCharm ToolKit为latest版本。
-
OBS目录导入数据规范说明 - AI开发平台ModelArts
当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中,“表格”类型的数据集,支持从OBS、DWS、DLI和MRS等数据源导入数据。 从OBS目录导入数据时,当前操作用户需具备此OBS路径的读取权限。 同时确保数据存储的OBS桶与ModelArts在同一区域。
-
从对象存储服务(OBS)中选择元模型 - AI开发平台ModelArts
系统默认关联您存储在OBS中的配置文件。打开开关,您可以直接在当前界面查看或编辑模型配置文件。 说明: 该功能即将下线,后续请根据“AI引擎”、“运行时依赖”和“apis定义”修改模型的配置信息。 “部署类型” 选择此AI应用支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处
-
线下容器镜像构建及调试 - AI开发平台ModelArts
线下容器镜像构建及调试 镜像构建及调试与单机单卡相同,请参考线下容器镜像构建及调试。 父主题: 单机多卡
-
Manifest文件导入操作 - AI开发平台ModelArts
需导入的数据,已存储至OBS中。Manifest文件也需要存储至OBS。 确保数据存储的OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。 文件型数据从Manifest导入操作 不同类型的数据集,导入操作界面的示意图存在区别,请参考界面信息了解当前类型数据集的示意图。当前操作指导以图片数据集为例。
-
在Linux上安装配置Grafana - AI开发平台ModelArts
发送”,将复制的命令发送至命令行窗口,如下图所示。 图3 复制粘贴按钮 图4 粘贴并发送安装命令 登录弹性云服务器。根据需要选择登录方式,具体操作请参考登录弹性云服务器 。 执行如下命令安装libfontconfig1。 sudo apt-get install -y adduser
-
从AI Gallery下载数据集 - AI开发平台ModelArts
从AI Gallery下载数据集 ModelArts的AI Gallery提供了丰富的数据资源,用户可以查找并下载满足业务需要的数据集,直接用于创建训练作业。 登录ModelArts管理控制台,在左侧菜单栏中选择“AI Gallery”,进入AI Gallery页面。 选择“资产集市
-
示例:从0到1制作自定义镜像并用于训练(MindSpore+GPU) - AI开发平台ModelArts
此处介绍如何通过编写Dockerfile文件制作自定义镜像的操作步骤。 安装Docker。 以Linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL
-
示例:从0到1制作自定义镜像并用于训练(Tensorflow+GPU) - AI开发平台ModelArts
此处介绍如何通过编写Dockerfile文件制作自定义镜像的操作步骤。 安装Docker。 以Linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL
-
使用Notebook进行代码调试 - AI开发平台ModelArts
otebook调试(Notebook调试方法与使用Notebook进行代码调试、使用Notebook进行代码调试相同)。 父主题: 多机多卡
-
线下容器镜像构建及调试 - AI开发平台ModelArts
线下容器镜像构建及调试 镜像构建及调试与单机单卡相同,请参考线下容器镜像构建及调试。 父主题: 多机多卡
-
从OBS目录导入的规范说明 - AI开发平台ModelArts
table_import_4.csv 从DWS导入数据 从DWS导入数据,用户需要选择对应的DWS集群,并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。 从DLI导入数据 从DLI导入数据,用户需要选择DLI队列、数据库
-
示例:从0到1制作自定义镜像并用于训练(PyTorch+CPU/GPU) - AI开发平台ModelArts
以Linux x86_64架构的操作系统为例,获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL get.docker.com -o get-docker.sh sh get-docker.sh