检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注文本分类数据 项目创建完成后,将会自动跳转至新版自动学习页面,并开始运行,当数据标注节点的状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 双击“数据标注”节点,单击实例详情按钮,打开数据标注页面。
导出ModelArts数据集中的数据到OBS 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,当需要将数据集中的数据存储至OBS用于后续导出使用时,可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测
s数据集。 提供多种数据接入方式,支持用户从OBS,MRS,DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子,帮助用户扩增数据,增加训练用的数据量。 帮助用户提高数据的质量。 提供图像、文本、音频、视频等多种格式数据的预览,帮助用户识别数据质量。 提供对数据进行多维
导出ModelArts数据集中的数据到AI Gallery 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出到AI Gallery。用户可以通过任务历史查看数据导出的历史记录。发布到AI Gallery中的数据集,可以设置是否公开,将数据集公开给其他人使用。
栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。 在标注作业列表右侧“所有类型”页签下拉选择标注类型,基于“标注类型”选择需要进行标注的标注作业,单击标注作业名称进入标注作业标注详情页。 图3 下拉选择标注类型 在标注作业标注详情中,展示此标注作业下全部数据。 标注文本(文本分类)
/data”下的目录下的数据会保存,其余目录下内容会被清理。例如:用户在开发环境中的其他目录下安装的外部依赖包等,在Notebook停止后会被清理。您可以通过保存镜像的方式保留开发环境设置,具体操作请参考保存Notebook实例。 Notebook实例将停止计费,但如有EVS盘挂载,存储部分仍会继续计费。
告警,在使用时很容易超过限制,并直接重启Notebook实例。重启后多种配置重置,会导致用户数据丢弃,环境丢失,造成很不好的使用体验。因此需要提供cache盘使用情况的监控和告警,并将数据上报至AOM平台。 配置流程 填写告警基本信息 设置告警规则 监控对象指标配置 告警触发条件设置
创建ModelArts数据增强任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“数据准备>数据处理”,进入“数据处理”页面。 在“数据处理”页
创建OBS桶用于ModelArts存储数据 由于ModelArts本身没有数据存储的功能,ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。 AI开发过程中的输入数据、输出数据、中间缓存数据都可以在
片及其标注情况,将呈现在“已标注”页签下。 选中的图片为标注错误图片,在右侧删除错误标签,然后在标签名处添加“狗”的标签,然后单击“确认”,完成难例确认。 将数据集中的数据标注为难例 针对标注作业中,已标注或未标注数据,也可以将图片数据标注为难例。标注为难例的数据,对后续模型训练中,通过内置规则提升模型精度。
ModelArts上传数据集收费吗? ModelArts中的数据集管理、标注等操作不收费,但是由于数据集存储在OBS中,因此会根据您使用的OBS桶进行收费。建议您前往OBS服务,了解OBS计费详情,创建相应的OBS桶用于存储ModelArts使用的数据。 父主题: 计费相关
场景一:将指定存储路径下的数据导入到目标数据集中。适用于需要对数据集进行数据更新的操作。 用户将指定路径下已标注的数据导入到数据集中(同时导入标签信息),后续可增加数据集版本发布节点进行版本发布。 数据准备:提前在ModelArts管理控制台,创建数据集,并将已标注的数据上传至OBS中。
动态扩充云硬盘EVS容量 动态挂载OBS并行文件系统 查看Notebook实例事件 Notebook Cache盘告警上报 父主题: 使用Notebook进行AI开发调试
do_validation 否 True 是否进行数据校验,可填True或者False。表示数据去重前需要进行数据校验,否则只进行数据去重。 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。
否 Boolean 是否导入数据,此参数当前仅表格数据集使用。可选值如下: true:创建数据集时导入数据 false:创建数据集时不导入数据(默认值) label_format 否 LabelFormat object 标签格式信息,此参数仅文本类数据集使用。 labels 否 Array
处理ModelArts数据集中的数据 数据处理场景介绍 创建ModelArts数据校验任务 创建ModelArts数据清洗任务 创建ModelArts数据选择任务 创建ModelArts数据增强任务 管理和查看数据处理任务 父主题: 数据准备与处理
在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试,即在导入模型或模型调试后,在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明
的接口,其与python接口一一对应关系。 tf.gfile:指MoXing文件操作接口一一对应的TensorFlow相同功能的接口,在MoXing中,无法自动将文件操作接口自动切换为TensorFlow的接口,下表呈现内容仅表示功能类似,帮助您更快速地了解MoXing文件操作接口的功能。
特性,将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具,将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。 动态挂载适用于哪些使用场景 场景1:数据集预览和操作,将承载数据集的OBS挂载至Notebook中,可以像本地文件系统一样操作数据集。
do_validation 否 True 是否进行数据校验,可填True或者False。表示数据清洗前需要进行数据校验,否则只进行数据清洗。 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。