检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工视频类数据集 清洗视频类数据集 标注视频类数据集 父主题: 加工数据集
审批数据集删除申请 如果免审批开关被打开后,则申请删除的数据集,系统会自动审批。如果免审批开关未打开,则申请删除的数据集需要审批人审批。本章节介绍审批人的审批操作,收到数据集删除申请后,根据实际情况进行审批。 前提条件 登录用户为具有“Data Owner”角色且被配置到一级审批人中的用户。
在“创建流通任务”页面,选择数据集模态,如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。 当
加工气象类数据集 清洗气象类数据集 父主题: 加工数据集
根据数据集ID查询数据集描述信息 功能介绍 根据数据集ID查询数据集描述信息。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/{id} 参数说明 参数名 是否必选 参数类型 备注 id 是 String 数据集的ID。 请求 请求样例
根据数据集ID获取数据集分类信息 功能介绍 根据数据集ID查询数据集分类信息。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/dataType/{datasetId}} 参数说明 参数名 是否必选 参数类型 备注 datasetId
根据数据集的entitiesId获取数据集的特征信息 功能介绍 管理侧根据数据集entitiesId获取数据集的特征信息。 URI URI格式 POST /softcomai/datalake/v1.0/originDataModels/{entitiesId}/entitysattr
全球地面沉降测绘¶ 该数据集的重点是通过使用先进的地理空间和建模技术创建全球地面沉降数据集。该研究调查了全球范围内地下水压力、含水层枯竭和地面沉降之间的关系。利用遥感数据和基于模型的数据集,开发了一种机器学习模型,可以以约 2 公里的极高空间分辨率预测地面沉降。这项
datasetName 是 String 数据集名称。 sourceDirUrl 是 String 数据集在数据权限侧所在的目录。 targetDirUrl 是 String 数据集发布到数据集后所在的目录。 desc 否 String 数据集描述信息。 userId 是 String
发布文本类数据集 评估文本类数据集 配比文本类数据集 流通文本类数据集 父主题: 发布数据集
加工文本类数据集 清洗文本类数据集 合成文本类数据集 标注文本类数据集 父主题: 加工数据集
发布视频类数据集 评估视频类数据集 流通视频类数据集 父主题: 发布数据集
修改数据集的图片 当需要修改已发布数据集的图片时,执行此章节。 前提条件 数据集发布申请已审批通过。 登录用户为具有“Data Operation Engineer”角色的用户。 操作步骤 在数据集服务界面首页,单击需要修改的数据集,进入数据集详情页面。 选择“设置”页签。 单击“图片”。
数据集的使有效期,过期后数据集无法再继续使用。默认值为发布该数据集时设置的值。 是否同步样例数据 支持选项。 是:同步更新样例数据。 否:不会同步更新样例数据。 默认值为发布该数据集时设置的值。 时域信息 数据集的时域特性。默认值为发布该数据集时设置的值。 时间格式:选择开始时间和结束时间。 指
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题: 加工数据集
提升模型性能。 数据配比 数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。 数据流通 数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。支持的发布格式
在“创建流通任务”页面,选择数据集模态,如“文本 > 预训练文本”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型或三方大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式:
数据集版本不合格 出现此问题时,表示数据集版本发布成功,但是不满足自动学习训练作业要求,因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。
在数据服务左侧导航,选择“运营中心>数据集修改”。 在“数据集修改”界面,在左侧“选择数据集”下,单击展开数据目录,可以查看到全部的数据集信息,勾选需要修改的数据集前面的复选框,右侧“待修改的数据集”中会列出所有选中的数据集及其目录。 也可以在目录树右上角的搜索框中搜索数据集的名称或是数据集的目录名称,快速查找到需要修改的数据集。
创建数据集 可视化创建数据集 SQL创建数据集 父主题: 新建数据集