-
创建数据集 - AI开发平台ModelArts
OBS的详细功能说明,请参见《OBS用户指南》。 数据源(“DWS”) “集群名称”:系统自动将当前账号下的DWS集群展现在列表中,您可以在下拉框中选择您所需的DWS集群。 “数据库名称”:根据选择的DWS集群,填写数据所在的数据库名称。 “表名称”:根据选择的数据库,填写数据所在的表。 “用户名”:输入DWS集群管理员用户的用户名。
-
数据标注简介 - AI开发平台ModelArts
数据标注简介 数据管理模块在重构升级中,对未使用过数据管理的用户不可见。如果要使用数据管理相关功能,建议提交工单开通权限。 模型训练过程中需要大量已标注的数据,因此在模型训练之前需要进行数据标注作业。ModelArts为用户提供了标注数据的能力: 人工标注:用户创建单人标注作业,对数据进行手工标注。
-
ModelArts - AI开发平台ModelArts
自动学习简介 自动学习功能介绍 自动学习基本流程 自动学习项目类型介绍 项目分类 图像分类 物体检测 预测分析 声音分类 操作指导 准备数据 创建项目 数据标注 自动训练 部署上线 07 AI Gallery使用指南 AI Gallery是一个AI资产共享平台,为高校科研机构、AI应用
-
训练模式选择 - AI开发平台ModelArts
训练模式选择 当训练作业的算法框架选用的是预置框架的MindSpore类引擎、资源池类型选用的是Ascend资源时,则ModelArts提供3种训练模式选择(普通模式、高性能模式和故障诊断模式),支持用户根据实际场景获取不同的诊断信息。 模式说明 训练作业默认设置为普通模式,普通模式的调测信息可参考查看训练作业日志。
-
GPU裸金属服务器无法Ping通的解决方案 - AI开发平台ModelArts
Oracle 1521 Oracle通信端口,弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server Remote Desktop Services 3389 Windows远程桌面服务端口,通过这
-
创建数据集 - AI开发平台ModelArts
创建数据集 DataBlock是AI开发套件数据集的统一抽象,针对不同的套件场景定义了不同的DataBlock类,以目标检测为例,目前支持加载coco格式的数据集加载模块COCODetDataBlock。 voc以及yolo格式的数据集可以通过COCOConverter进行数据集转化,请参考数据集转换。
-
从DWS导入数据 - AI开发平台ModelArts
在下拉框中选择您所需的DWS集群。 数据库名称:根据选择的DWS集群,填写数据所在的数据库名称。 表名称:根据选择的数据库,填写数据所在的表。 用户名:输入DWS集群管理员用户的用户名。 密码:输入DWS集群管理员用户的密码。 从DWS导入数据,需要借助DLI的功能,如果用户没有
-
从DLI导入数据 - AI开发平台ModelArts
队列名称:系统自动将当前账号下的DLI队列展现在列表中,用户可以在下拉框中选择需要的队列。 数据库名称:根据选择的队列展现所有的数据库,请在下拉框中选择您所需的数据库。 表名称:根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的default队列只用作体验,不同账
-
训练作业使用MoXing拷贝数据较慢,重复打印日志 - AI开发平台ModelArts
训练作业使用MoXing拷贝数据较慢,重复打印日志 问题现象 ModelArts训练作业使用MoXing拷贝数据较慢。 重复打印日志“INFO:root:Listing OBS”。 图1 重复打印日志 原因分析 拷贝数据慢的可能原因如下: 直接从OBS上读数据会造成读数据变成训练的瓶颈,导致迭代缓慢。
-
数据集连接 - AI开发平台ModelArts
数据集连接 概述 “连接”节点是关系数据库中常用的方法之一,用于以特定的方式将两个数据集联接在一起。 输入 参数 子参数 参数说明 inputs left_dataframe inputs为字典类型,left_dataframe为执行连接操作的左数据集 right_dataframe
-
从AI Gallery下载数据集 - AI开发平台ModelArts
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:根据实际情况选择该数据集的数据类型。 “数据集输入位置”:AI Gallery的数据集下载到OBS的路径,此位置会作为数据集的数据存储路径,数据集输入位置不能和输出位置相同。 “数据集输出位置”:数据集输出位置
-
查看训练容器环境变量 - AI开发平台ModelArts
r/local/bin:/usr/sbin:/usr/bin:/sbin:/bin” LD_LIBRARY_PATH 动态链接库路径,已包含常用的动态库路径。 “LD_LIBRARY_PATH=/usr/local/seccomponent/lib:/usr/local/cuda
-
保存为DLI OBS表 - AI开发平台ModelArts
参数说明 DLI_database - 用户的目标DLI数据库名称 DLI_table - 用户的目标DLI数据库中目标DLI外表或要新建DLI外表的名称 file_format - DLI外表使用的数据格式 mode - 数据的写入类型(追加或覆盖,默认为覆盖模式)。使用PySpark
-
数据管理 - AI开发平台ModelArts
理、音视频分析等;同时提供数据筛选、数据分析、数据处理、智能标注、团队标注以及版本管理等功能,AI开发者可基于该框架实现数据标注全流程处理。如图1所示。 图1 数据标注全流程 数据管理平台提供了聚类分析、数据特征分析、数据清洗、数据校验、数据增强、数据选择等分析处理能力,可帮助开
-
按需计费 - AI开发平台ModelArts
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费资源的计费规则。 适用场景 按需计费适用于资源需求波动的场景,例如面向ToC业务的AIGC推理场景,客户业务量会随时间有规律的波动,按需计费模式能大幅降低客户的业务成本。可在运行自动
-
MLOps简介 - AI开发平台ModelArts
轮的实验迭代。算法工程师会根据数据特征以及数据的标签做多样化的数据处理以及多种模型优化,以获得在已有的数据集上更好的模型效果。传统的AI应用交付会直接在实验迭代结束后以输出的模型为终点。当应用上线后,随着时间的推移,会出现模型漂移的问题。新的数据和新的特征在已有的模型上表现会越来
-
模型部署 - AI开发平台ModelArts
力的巨大工程,ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。
-
从OBS目录导入的规范说明 - AI开发平台ModelArts
table_import_4.csv 从DWS导入数据 从DWS导入数据,用户需要选择对应的DWS集群,并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。 从DLI导入数据 从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的sch
-
读取DLI表 - AI开发平台ModelArts
读取用户于DLI服务创建的外表(OBS表)。 输入 无 输出 数据集 参数说明 参数 参数说明 DLI_database 用户的目标DLI数据库名称 DLI_table 用户的目标DLI数据库中目标DLI外表(OBS表)的名称 样例 params = { "DLI_database": None, # @param
-
推理基础镜像详情TensorFlow(CPU/GPU) - AI开发平台ModelArts
libgoogle-glog-dev liblmdb-dev libatlas-base-dev librdmacm1 libcap2-bin libpq-dev mysql-common net-tools nginx openslide-tools openssh-client openssh-server