检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 存储类型,取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表5 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String
配置服务访问授权 为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间,并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 加工数据集
GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时候,PATCH可能会去创建一个新的资源。
考》文档。 { "name": "test-task624", "input": { "type": "obs", "data": [ { "bucket": "pangu-weather-data"
> 本空间”页面,单击支持导出的模型名称,右上角的“导出模型”。 在“导出模型”页面,选择需要导出的模型,应设置导出模型时对应的导出位置(OBS桶地址),添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图2 导出模型 导入其他局点盘古大模型 导入盘古大模型前,请确保当前空间为该用户所创建的空间。
测大模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发
标注粒度。如图2,首先标注视频中的“大类别”(如“动物”),然后根据该大类别进一步细分为多个子类。这种方式可以更精细地表示视频中涉及的不同对象或情境。 图2 多层级分类示例-声音分类 文本描述:如图3,文本描述允许标注者以文字的形式为视频片段提供更详细的说明或描述。该描述不仅可以
数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练
的预测。 中期天气要素模型包括6h分辨率模型,即以起报时刻开始,可以逐6h往后进行降水情况的预测。 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对天气要素或降水进行预报的天数,范围为1~14天。
训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 自定义L1预训练模型目录 自定义预训练模型所在的OBS路径。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 是否使用自定义L1预训练模型 是否使用自定义预训练模
V大模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 清洗图片、视频类数据集 通过专用的清
大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据
比较条件 比较对象 值]组成一条件表达式。 参数名称:条件表达式左边部分,需要选择来自前序节点的输出参数。 比较条件:条件表达式中间部分,当前支持的比较条件有: equal:等于 not equal:不等于 contain:包含 not contain:不包含 比较对象、值:条件表
据基础。 数据工程包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,支持将不同来源和格式的数据导入平台。 支持的接入方式:通过OBS服务导入数据。 支持的数据类型:文本、图片、视频、气象、预测、其他。 自定义格式:用户可以根据业务需求上传自定义格式的数据,提升数据获取的灵活性和可扩展性。
模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 清洗气象类数据集 通过专用的清洗算子对数据