检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
“/cache”目录大小请参考训练环境中不同规格资源“/cache”目录的大小。 训练输出路径参数 建议设置一个空目录为训练输出路径。在训练代码中，您需要解析输出路径参数。系统后台会自动上传训练输出至指定的训练输出路径，请保证您设置的桶路径有写入权限和读取权限。
支持 - 支持 - - 文本三元组 支持 支持 - 支持 支持 支持 - 支持 - - 视频 视频 支持 支持 - 支持 支持 支持 - - - - 自由格式 自由格式 支持 - _ 支持 支持 支持 - - - - 表格 表格 支持 支持 - 支持 支持 支持 - - - - 规格限制
购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
修改详细步骤如下所示： 选择指令微调类型 sft，复制sft_yaml样例模板内容覆盖demo.yaml文件内容。 lora，复制lora_yaml样例模板内容覆盖demo.yaml文件内容。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
将自定义镜像创建为模型：将上传至SWR服务的镜像导入ModelArts的模型管理。 将模型部署为在线服务：将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例，您可以购买相同规格的ECS或者应用本地已有的主机进行自定义镜像的制作。
/cache 否 裸机规格支持，挂载宿主机NVMe的硬盘。 /dev/shm 否 用于PyTorch引擎加速。 /usr/local/nvidia 是 宿主机的nvidia库。 父主题： 准备模型训练代码
-hf-num-gpus 1 --batch-size 4 \ -w {output_path} --debug 参数说明如下: --datasets, 评测的数据集及评测方法，其中 mmlu 是数据集，ppl 是评测方法 --hf-type, HuggingFace模型权重类型
--hf-type：HuggingFace模型权重类型(base,chat), 默认为chat, 依据实际的模型选择。 --hf-path：本地 HuggingFace 权重的路径，比如/home/ma-user/nfs/model/Meta-Llama-3-8B。
选择训练策略类型。 sft，复制sft_yaml样例模板内容覆盖demo.yaml文件内容。 lora，复制lora_yaml样例模板内容覆盖demo.yaml文件内容。 dpo，复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。
--hf-type：HuggingFace模型权重类型(base,chat), 默认为chat, 依据实际的模型选择。 --hf-path：本地 HuggingFace 权重的路径，比如/home/ma-user/nfs/model/Meta-Llama-3-8B。
--hf-type：HuggingFace模型权重类型(base,chat)，默认为chat，依据实际的模型选择。 --hf-path：本地 HuggingFace 权重的路径，比如/home/ma-user/nfs/model/Meta-Llama-3-8B。
--hf-type：HuggingFace模型权重类型(base,chat), 默认为chat, 依据实际的模型选择。 --hf-path：本地 HuggingFace 权重的路径，比如/home/ma-user/nfs/model/Meta-Llama-3-8B。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
