检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFT全参微调数据处理 SFT全参微调（SFT fine-tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/silk-road/a
--backend：服务类型，如tgi，vllm，mindspore，openai。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --dataset：数据集路径。 --dataset-type：支持三种 "
重路径。backend取值是openai时，tokenizer路径需要和推理服务启动时--model路径保持一致，比如--model /data/nfs/model/llama_7b， --tokenizer也需要为/data/nfs/model/llama_7b，两者要完全一致。
sft：表示SFT微调训练 lora：表示LoRA微调训练 MASTER_ADDR localhost 多机必填，单机忽略；指定主节点IP地址，多台机器中需要指定一个节点IP为主节点IP。 一般指定第一个节点IP为主节点IP。 NNODES 1 多机必填，单机忽略；节点总数，单机写1，双机写2。
大长度，模型启动参数--max-input-length值需要大于该值。 --max-prompt-tokens：输入限制的最大长度，推理时最大输入tokens数量，模型启动参数--max-total-tokens值需要大于该值，tokenizer建议带tokenizer.json的FastTokenizer。
SFT全参微调数据处理 SFT全参微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tats
通过API接口选择自定义镜像导入创建模型，配置了运行时依赖，没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖，系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件中安装pip依赖包，例如安装Flask依赖包。 # 配置华为云的源，安装
大长度，模型启动参数--max-input-length值需要大于该值。 --max-prompt-tokens：输入限制的最大长度，推理时最大输入tokens数量，模型启动参数--max-total-tokens值需要大于该值，tokenizer建议带tokenizer.json的FastTokenizer。
度>8192，则需要在启动推理服务前添加如下环境变量降低显存占用；否则在长序列的推理中会触发Out of Memory，导致推理服务不可用。 export USE_PREFIX_HIGH_PRECISION_MODE=1 如果需要使用multi-lora特性；需要在推理服务启动命令中额外添加如下命令。
方法二：定义变量形式：提前定义主节点IP地址、节点个数、节点RANK的环境变量并赋值，再执行脚本。 示例： MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 sh scripts_modellink/llama2/0_pl_sft_13b.sh 注意：如果单机运行需要指定使用NPU卡的数量，可提前定义变量
方法二：定义变量形式：提前定义主节点IP地址、节点个数、节点RANK的环境变量并赋值，再执行脚本。 示例： MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 sh scripts_modellink/llama2/0_pl_sft_13b.sh 注意：如果单机运行需要指定使用NPU卡的数量，可提前定义变量
依赖和委托 功能依赖 功能依赖策略项 您在使用ModelArts的过程中，需要和其他云服务交互，比如需要在提交训练作业时选择指定数据集OBS路径和日志存储OBS路径。因此管理员在为用户配置细粒度授权策略时，需要同时配置依赖的权限项，用户才能使用完整的功能。 如果您使用根用户（与账户
docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。训练至少需要单机8卡，推理需要单机单卡。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录"
迁移效果校验 在pipeline适配完成后，需要验证适配后的效果是否满足要求，通过对比原始onnx pipeline的最终输出结果确认迁移效果。如果精度和性能都没有问题，则代表迁移完成。 对比图片生成效果 在CPU上推理onnx，将原始onnx和适配完成的MindSpore Lite
Arts Notebook的详细资料请查看开发环境介绍。 本案例中的训练作业需要通过SFS Turbo挂载盘的形式创建，因此需要将上述数据集、代码、权重文件从OBS桶上传至SFS Turbo中。 用户需要创建开发环境Notebook，并绑定SFS Turbo，以便能够通过Notebook访问SFS
Arts Notebook的详细资料请查看开发环境介绍。 本案例中的训练作业需要通过SFS Turbo挂载盘的形式创建，因此需要将上述数据集、代码、权重文件从OBS桶上传至SFS Turbo中。 用户需要创建开发环境Notebook，并绑定SFS Turbo，以便能够通过Notebook访问SFS
${image_name}为推理镜像名称，可自行指定。 运行完后，会生成推理所需镜像。 如果推理需要使用NPU加速图片预处理，适配了llava-1.5模型，启动时需要设置export ENABLE_USE_DVPP=1，需要安装torchvision_npu，可放到镜像制作脚本./AscendClo
${image_name}为推理镜像名称，可自行指定。 运行完后，会生成推理所需镜像。 如果推理需要使用NPU加速图片预处理，适配了llava-1.5模型，启动时需要设置export ENABLE_USE_DVPP=1，需要安装torchvision_npu，可放到镜像制作脚本./AscendClo
在“团队详情”区域，选择需修改的成员。 在成员所在行的“操作”列，单击“修改”。在弹出的对话框中，修改其“描述”或“角色”。 成员的“邮箱”无法修改，如果需要修改邮箱地址，建议先删除此成员，然后再基于新的邮箱地址添加新成员。 “角色”支持“Labeler”、“Reviewer”和“Team Manager”，“Team
请参考本文档要求准备资源环境。 资源规格要求 计算规格：对于Qwen-7B和Qwen-14B单机训练需要使用单机8卡，多机训练需要使用2机16卡。对于Qwen-72B至少需要5机40卡才能训练，建议使用8机64卡执行训练相关任务。 硬盘空间：至少200GB。 Ascend资源规格：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
