AI开发平台MODELARTS-工具介绍及准备工作:准备工作

时间:2024-12-09 20:36:33

准备工作

  1. 完成准备工作内容,生成benchmark-cli工具。
  2. 解压版本包data.tgz:测试样例数据;比如工作目录为:/homa/ma-user/LLaMAFactory
    # 将默认数据解压config同级目录
    tar -zxvf ./benchmark/data.tgz ./benchmark/
  3. 创建test-benchmark目录,该目录存放训练生成的权重文件及训练日志。
    # 任意目录创建
    mkdir test-benchmark
  4. 修改yaml文件参数中model_name_or_path、dataset_dir和dataset或eval_dataset参数配置,修改代码目录下accuracy_cfgs.yaml或performance_cfgs.yaml文件内容,参数详解可参考表1
    # 默认参数;根据自己实际要求修改
    ## accuracy_cfgs.yaml、performance_cfgs.yaml
    dataset_dir: /xxxx/benchmark/data/dataset
    dataset: gsm8k_train_alpaca
    model_name_or_path: /data/wulan1/model/qwen2.5-7b
    ## accuracy_cfgs.yaml
    eval_dataset: gsm8k_test

    样例yaml配置文件结构分为

    • base块:基础配置块
    • ModelName块:该模型所需配置的参数,如qwen2.5-7b块

    样例截图如下:

  5. 开始训练测试,具体步骤参考训练性能测试训练精度测试,根据实际情况决定。
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_91036.html