AI开发平台MODELARTS-从OBS目录导入数据到数据集:表格数据集从OBS导入操作

时间:2024-10-16 17:00:44

表格数据集从OBS导入操作

ModelArts支持从OBS导入表格数据,即csv文件。

表格数据集导入说明:

  • 导入成功的前提是,数据源的schema需要与创建数据集指定的schema保持一致。其中schema指表格的列名和类型,创建数据集时一旦指定,不支持修改。
  • 从OBS导入csv文件,不会校验数据类型,但是列数需要跟数据集的schema保持一致。如果数据格式不合法,会将数据置为null,详见表4
  • 导入的csv文件要求如下:需要选择文件所在目录,其中csv文件的列数需要跟数据集schema一致。支持自动获取csv文件的schema。
├─dataset-import-example 
│      table_import_1.csv 
│      table_import_2.csv
│      table_import_3.csv
│      table_import_4.csv
support.huaweicloud.com/usermanual-standard-modelarts/dataprepare-modelarts-0012.html