AI开发平台MODELARTS-准备数据(可选):上传自定义数据到指定目录

时间:2025-01-03 09:38:50

上传自定义数据到指定目录

将下载的原始数据存放在{work_dir}/llm_train/LLaMAFactory/LLaMA-Factory/data目录下。具体步骤如下:

  1. 进入到/home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data目录下。
    cd  /home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data
  2. 将自定义原始数据如demo.json放置在此处。

    数据存放参考目录结构如下:

    ${workdir}(例如/home/ma-user/ws/llm_train )
      |── LLaMAFactory/data
           |── alpaca_en_demo.json                   # 代码原有数据集
           |── identity.json                         # 代码原有数据集
           ...
           |── demo.json                             # 自定义数据集
  3. 更新代码目录下 data/dataset_info.json 文件。关于数据集文件的格式及配置,请参考 data/README_zh.md 的内容。
    vim dataset_info.json
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_3195.html