检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据配比”,单击界面右上角“创建配比任务”。
创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。
设置:详细信息请参见设置数据集的信息及可视范围,详细操作请参考修改数据集(新)。 批量订阅/我要订阅:订阅该数据集,详细操作请参见立即订阅数据集或申请订阅数据集。 数据信息 数据集的数据信息包含标签、描述信息、数据浏览器和关联数据集。
可选值如下: true:创建数据集时导入数据 false:创建数据集时不导入数据(默认值) label_format 否 LabelFormat object 标签格式信息,此参数仅文本类数据集使用。
清洗文本类数据集 清洗文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建文本类数据集清洗任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
单击“操作”列下的“详情”,可以查看数据集发布申请详情。 单击“操作”列下的“撤回”,可以撤回未审批完成的数据集发布申请。 父主题: 发布数据集
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。
发布数据集 数据集发布场景介绍 发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题: 使用数据工程构建数据集
加工数据集 数据集加工场景介绍 数据集清洗算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题: 使用数据工程构建数据集
父主题: 数据集订购接口
管理数据集 管理目录 发布数据集 修改数据集(新) 修改数据集(旧) 管理数据集授权 删除数据集 数据集上架 父主题: 数据集
父主题: 数据集管理接口
数据在写入时先保存在热存储上,GeminiDB Influx根据数据中的时间戳判断数据的冷热,如果数据的时间戳在热数据保存时长之内,则是热数据,如果是保存时长之前的数据,则是冷数据,系统自动归档到冷存储上。
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 使用须知 当迁移的表数量较多或单个表的列数较多时,迁移过程可能会耗费较长时间。
下架数据集 申请下架数据集 查看数据集下架申请 审批数据集下架申请 父主题: 管理数据集
父主题: 导入数据到ModelArts数据集
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作,旨在通过数据质量评估和合理的比例组合,确保数据满足大模型训练的多样性、平衡性和代表性需求,促进数据的高效流通和应用。
数据集配置 操作场景 已发布的服务进行数据集配置后,通过执行定时调度或手工调度,即可将服务运行结果保存为数据集,后续无需再去调用API,可直接查表获取结果。 仅“服务定义 > 基本信息”中“支持服务运行结果保存为数据集”为“是”的服务发布后才支持此项配置。
消费数据集 订阅数据集 下载数据集 取消订阅数据集 父主题: 用户指南