检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{task_id}/save-image-job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。
multi-lora特性不能和Chunked Prefill特性一起使用。 multi-lora特性使用说明 如果需要使用multi-lora特性,需要在推理服务启动命令中额外添加如下命令。 --enable-lora \ --lora-modules lora1=/path/to/lora/adapter1/
fgs.yaml相对或绝对路径 --dataset <dataset>:评估数据集;可选值:all、mmlu、ceval,默认值为all,用户只需选择参数即可,数据集路径eval接口已指定好。 --model_name <model_name>:训练模型名 --run_type
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 add_labels 否 Array
使用AI Gallery SDK构建自定义模型 AI Gallery的Transformers库支持部分开源的模型结构框架,并对昇腾系列显卡进行了训练/推理性能优化,可以做到开箱即用。如果你有自己从头进行预训练的模型,AI Gallery也支持使用SDK构建自定义模型接入AI Gallery。
指定算法所属的ai项目,默认值为"default-ai-project"。ai项目已下线,无需关注。 user_name String 用户名称。 domain_id String 用户的domainID。 source String 算法来源类型。 api_version String 算法api版本,标识新旧版。
训练超参数。常见的超参如下图所示: 图1 训练超参数 模型的超参通常可能调整的主要有学习率、batch size、并行切分策略、学习率warm-up、模型参数、FA配置等。用户在进行NPU精度和GPU精度比对前,需要保证两边的配置一致。 表1 超参说明 超参 说明 学习率 影响模型收敛程度,决定了模型在每次更新权
/home/ma-user/ws/Qwen2-72B/sft-4096 必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下。用户根据自己实际要求适配。 per_device_train_batch_size 1 指定每个设备的训练批次大小 gradient_accumulation_steps
/home/ma-user/ws/Qwen2-72B/sft-4096 必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下。用户根据自己实际要求适配。 per_device_train_batch_size 1 指定每个设备的训练批次大小 gradient_accumulation_steps
false } 2. 启动vLLM,如果是使用命令行的方式,指定--quantization "gptq"参数,其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM,如果是使用命令行的方式,指定--quantization "gptq"参数,其他参数请参考步骤六 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM,如果是使用命令行的方式,指定--quantization "gptq"参数,其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM,如果是使用命令行的方式,指定--quantization "gptq"参数,其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
run(input_shape=input_shape, output_path="/home/xxx") 运行结果将存储在output文件夹中,如果用户指定了output_path,会指定位置保存,如果不指定则在当前代码执行目录生成文件夹保存输出。整体运行的结果都存放在output文件夹中
动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换,可通过编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文