检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。
ModelArts数据集新建的版本找不到怎么办？ 版本列表是可以缩放的，请缩小页面后查找。 单击数据集名称，进入数据集概览页，在概览页选择“版本管理”，可对页面进行缩小。 父主题： Standard数据准备
裸机的本地磁盘为物理磁盘，无法扩容，如果存储的数据量大，建议使用SFS存放数据，SFS支持扩容。
如果Prefix Cache和Generated KV Cache都可以缓存，在多轮对话的应用中，忽略边界情况，基本上可以认为其消除了历史轮次中生成对话的recompute。
MindStudio-Insight提供时间线视图、内存、算子耗时、通信瓶颈分析等功能，借助于数据库支持超大性能数据处理，可以支持20GB的集群性能文件分析，并且能够支持大模型场景下的性能调优，相比于Chrometrace、tensorboard等工具提供了更优的功能和性能。
如果Prefix Cache和Generated KV Cache都可以缓存，在多轮对话的应用中，忽略边界情况，基本上可以认为其消除了历史轮次中生成对话的recompute。
启动脚本前的两个声明为本次训练的模型和数据集，第一次执行程序时若本地没有模型和数据集，会自动下载。但由于lambdalabs/pokemon-blip-captions数据集下载现在需要登录HuggingFace账号，请先下载数据集到本地，再挂载到对应目录。
此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址，请记录该地址，后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。
准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备权重 准备所需的权重文件。 准备代码 准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。
“dataset_readme.md” 必选文件，数据集要求说明，定义了模型训练时对数据集的要求，会显示在微调工作流的“准备数据”页面。
结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
权重转换完成后，在/home/ma-user/ws/processed_for_ma_input/Llama2-70B/converted_weights目录下查看转换后的权重文件。 图1 转换后的权重文件 父主题： SFT全参微调训练
结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
否 str apis 模型所有的apis入参出参信息（选填），从配置文件中解析出来。 否 str initial_config 模型配置相关数据。
用于准备数据集。
用于准备数据集。
用于准备数据集。
为方便适配，本指导中使用的是：取coco2014_train.json文件前4万条数据作为后续使用的demo数据集（命名为：coco2014_train_filter_40k.json）； 启动训练脚本前，需检查并保证下载的数据集train2014文件夹与训练脚本均在工作目录${
其中，生成的url信息，不可直接访问使用。 extend_params Map<String,String> 扩展参数。 表15 storage定义数据结构说明 参数 参数类型 说明 type String 存储类型。
用于准备数据集。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
