检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER
约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.910版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。
-caching特性则不配置该环境变量。 若要开启图模式，请配置以下5个环境变量，并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA # 开启PTA模式，若不使用图模式，请关闭该环境变量 export PTA_TORCHAIR_DECODE_GEAR_ENABLE=1
/home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen"，则使用Qwen模板进行训练，模板选择可参照表1中的template列
/home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen"，则使用Qwen模板进行训练，模板选择可参照表1中的template列
/home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen"，则使用Qwen模板进行训练，模板选择可参照表1中的template列
软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 获取模型权重文件 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式：
获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 修改代码 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩
n文件，此时scale系数默认为1，但是可能会造成精度下降。 per-tensor+per-head静态量化场景 如需使用该场景量化方法，请自行准备kv-cache量化系数，格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致，只需把每
需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.908版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
rain/AscendSpeed/tokenizers/llama2-13b tokenizer的存放路径，与HF权重存放在一个文件夹下。请根据实际规划修改。 PROCESSED_DATA_PREFIX /home/ma-user/ws/llm_train/AscendSpeed
导出数据集版本的名称。 export_dest String 数据集导出类型。可选值如下： DIR：导出到OBS（默认值） NEW_DATASET：导出到新数据集 export_new_dataset_name String 导出新数据集的名称。 export_new_dataset_work_path
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER
约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.908版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0
\"/home/mind/model/run_vllm.sh\": permission denied"，请参考附录：大模型推理standard常见问题问题6重新构建镜像。 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。 若以vllm接口启动服务，设置请求路径：“/generate”，输入预测代码“{"prompt":
到卡号的文件夹之前。命令中的./sharegpt_0_199_mufp16/"为举例，需要替换为实际地址。 new_folder为需要存储新的data的地址。命令中的./sharegpt_0_199_mufp16/"为举例，需要替换为实际地址。 tp为需要切分成的文件夹数量，默认为8。
n文件，此时scale系数默认为1，但是可能会造成精度下降。 per-tensor+per-head静态量化场景 如需使用该场景量化方法，请自行准备kv-cache量化系数，格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致，只需把每
/home/ma-user/work/model/llama-2-13b-chat-hf tokenizer的存放路径，与HF权重存放在一个文件夹下。请根据实际规划修改。 PROCESSED_DATA_PREFIX /home/ma-user/work/llm_train/processed
约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
