检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型，还需要手动修改tokenizer文件，具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业，并自定义
必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型，还需要手动修改tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor
能，可查看模型开发简介。 Step2 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。 表1 需要填写的环境变量 环境变量 示例值 参数说明 GPUS_PER_NODE 8 必须填写。根据资源规格每个节点上NPU的数量填写。 DATA
python-3.7.13 mlnx ofed-5.4 tensorflow gpu-2.10.0 操作流程 使用自定义镜像创建训练作业时，需要您熟悉docker软件的使用，并具备一定的开发经验。详细步骤如下所示： 前提条件 Step1 创建OBS桶和文件夹 Step2 创建数据集并上传至OBS
时长收费 消息通知（不开启则不计费） 消息通知服务 订阅消息使用消息通知服务，在事件列表中选择需要监控的节点/Workflow状态，在事件发生时发送消息通知。 如果想使用消息通知，需要提前在自动学习、Workflow中开启消息通知功能。 具体计费可见消息通知服务价格详情。 按实际用量付费
平滑系数/Migration Strength 设置SmoothQuant量化的迁移系数，仅“压缩策略”选择“SmoothQuant-W8A8”时才需要配置。建议使用默认值。 取值范围：0~1 默认值：0.5 压缩后模型权重保存路径 选择压缩后模型权重文件存放的OBS路径。 资源设置 资源池类型
String 算法的代码目录。如：“/usr/app/”。应与boot_file一同出现。 boot_file 否 String 算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command 否 String 自定义镜像算法的容器启动命令。
复图片被过滤掉。取值范围为0~1。 do_validation 否 True 是否进行数据校验，可填True或者False。表示数据去重前需要进行数据校验，否则只进行数据去重。 输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelA
选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。 超参 当资源规格为单机多卡时，需要指定超参world_size和rank。 当资源规格为多机时（即实例数大于 1），无需设置超参world_size和rank，超参会由平台自动注入。
通过样本属性搜索。 parent_sample_id String 父样本ID。 sample_dir String 根据样本所在目录搜索（目录需要以/结尾），只搜索指定目录下的样本，不支持目录递归搜索。 sample_name String 根据样本名称搜索（含后缀名）。 sample_time
否 String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 config 是 Object 创建训练作业需要的参数。详情请参见表3。 workspace_id 否 String 指定作业所处的工作空间，默认值为“0”。 表3 config属性列表
String 算法的代码目录。如：“/usr/app/”。应与boot_file一同出现。 boot_file 否 String 算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command 否 String 自定义镜像算法的容器启动命令。
必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时，保持一致。
必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时，保持一致。
必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时，保持一致。
--global-option="--cuda_ext" /cache/apex-master') 安装报错 “xxx.whl”文件无法安装，需要您按照如下步骤排查： 当出现“xxx.whl”文件无法安装，在启动文件中添加如下代码，查看当前pip命令支持的文件名和版本。 import
9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。 以llama2-13b为例，NPU卡显存为32GB时，至少需要2张卡运行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。
9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。 以llama2-13b为例，NPU卡显存为32GB时，至少需要2张卡运行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。
9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。 以llama2-13b为例，NPU卡显存为32GB时，至少需要2张卡运行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。
- BradyFU/Awesome-Multimodal-Large-Language-Models at Evaluation）。 配置需要使用的NPU卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
