盘古大模型 PANGULARGEMODELS-气象类数据集格式要求

时间:2024-12-03 10:24:59

气象类数据集格式要求

ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。

海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针对特定区域,旨在提供完整、一致且高精度的气象数据。

再分析数据为二进制格式,具体格式要求详见表1

表1 气象类数据集格式要求

文件内容

文件格式

文件要求

海洋气象

nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2

  • 数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。
  • 海洋数据通常包含全球或区域性的海洋变量,如温度(T)、气压(P)、风速(U、V)等,具体格式示例如下:
    {"geo_range": {"lat": ["-90.0", "90.0"], "lon": ["0.0", "360.0"]}, "time_range": ["1640995200000", "1641164400000"], "total_size": 7376211808, "surface_features": ["SSH", "T", "P", "U", "V"], "under_sea_layers": ["0m", "6m", "10m", "20m", "30m", "50m", "70m", "100m", "125m", "150m", "200m", "250m", "300m", "400m", "500m"], "under_sea_features": [ "T", "U", "V", "S"]}
    • geo_range:定义了数据覆盖的地理范围,纬度(lat)从-90.0到90.0,经度(lon)从0.0到360.0。
    • time_range:数据的时间范围,时间戳格式为毫秒数。
    • total_size:数据文件的总大小,单位为字节。
    • surface_features:海表特征变量列表,例如海表高度(SSH)、温度(T)、风速(U、V)。
    • under_sea_layers:深海层列表,例如500m、400mPa等。
    • under_sea_features:高空特征变量列表,例如海盐(S)、温度(T)、海流速率(U、V)。
support.huaweicloud.com/usermanual-pangulm/pangulm_04_0022.html