检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的不同训练阶段方案，包括指令监督微调、DPO偏好训练、RM奖励模型训练、PPO强化训练方案。 DPO(Direct
├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 执行性能测试脚本前，需先安装相关依赖。 conda activate python-3.9.10
├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 执行性能测试脚本前，需先安装相关依赖。 conda activate python-3.9.10
FrameworkPTAdapter：6.0.RC3 - 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.909-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC CV代码包：AscendCloud-CV
generate_datasets.py # 生成自定义数据集的脚本 ├── requirements.txt # 第三方依赖 ├──benchmark_eval #精度评测 ├──opencompass.sh #运行opencompass脚本
s后台容器中存储输入数据的路径。 “输出-输出路径” 本次训练中，输出数据的OBS路径。 “输出-参数名称” 算法代码中，输出路径指代的参数。 “输出-获取方式” 本次训练作业的输出采用的获取方式。 “输出-本地路径（训练参数值）” ModelArts后台容器中存储训练输出的路径。
大小限制。 前提条件 请确保训练作业已运行成功，且模型已存储至训练输出的OBS目录下（输入参数为train_url）。 针对使用常用框架或自定义镜像创建的训练作业，需根据模型包结构介绍，将推理代码和配置文件上传至模型的存储目录中。 确保您使用的OBS目录与ModelArts在同一区域。
工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称：conversation_id, Human, assistant conversation_id: 指定的对话id, 如果相同,
工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称：conversation_id, Human, assistant conversation_id: 指定的对话id, 如果相同,
├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchm
在本地环境执行以下命令启动自定义镜像 docker run -it -p 8080:8080 test:v1 图2 启动自定义镜像 另开一个终端，执行以下命令验证自定义镜像的三个API接口功能。 curl -X POST -H "Content-Type: application/json" --data '{"name":"Tom"}'
工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称：conversation_id, Human, assistant conversation_id: 指定的对话id, 如果相同,
API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --datasets：数据集路径。 --datasets-type：支持三种 "alpaca"，"sharegpt"，"custom"。custom为自定义数据集。 --tokenizer：tokenizer路径，
在本地环境执行以下命令启动自定义镜像 docker run -it -p 8080:8080 test:v1 图2 启动自定义镜像 另开一个终端，执行以下命令验证自定义镜像的三个API接口功能。 curl -X POST -H "Content-Type: application/json" --data '{"name":"Tom"}'
工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称：conversation_id, Human, assistant conversation_id: 指定的对话id, 如果相同,
工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv .xlsb .xlsm .xlst MOSS 数据集的 Excel 中需要有三个列名称：conversation_id, Human, assistant conversation_id: 指定的对话id, 如果相同,
您可以通过保存镜像的方式保留开发环境设置，具体操作请参考保存Notebook实例。 Notebook实例将停止计费，但如有EVS盘挂载，存储部分仍会继续计费。 删除实例 针对不再使用的Notebook实例，可以删除以释放资源。 登录ModelArts管理控制台，在左侧菜单栏中选
方式二：单击某个资源池名称，进入资源池详情，单击“节点池管理”页签，单击“创建节点池”，填写“容器引擎空间大小”后，单击“确认”。 方式三：单击某个资源池操作列下的“更多 > 新增节点池”，跳转至“节点池管理”页签，修改容器引擎空间大小。（仅包周期支持新增节点池） 对于存量的资源，支持修改容器引擎空间大小。
Turbo，以便能够通过Notebook访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
python test.py 图2 部署在线服务 在XShell中新开一个终端，参考步骤5~7进入容器，该容器为客户端。执行以下命令验证自定义镜像的三个API接口功能。当显示如图所示时，即可调用服务成功。 curl -X POST -H "Content-Type: application/json"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
