检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh ./scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
sh ./scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
作为调用发起方的客户端无法访问已经获取到的推理请求地址 问题现象 完成在线服务部署且服务处于“运行中”状态后，已经通过调用指南页面的信息获取到调用的server端地址，但是调用发起方的客户端访问该地址不通，出现无法连接、域名无法解析的现象。 原因分析 在调用指南页签中显示的调用地
表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
规格ID。 memory Long 内存大小。 name String 规格名称。 sold_out Boolean 资源是否充足。 true 资源不足 false 资源充足 storages Array of strings 规格支持的存储类型。 EFS EVS vcpus Integer
如果要使用自动重启功能，资源规格必须选择八卡规格。 当前功能还处于试验阶段，只有llama3-8B/70B适配。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图4 选择资源池规格 作业日志选择OBS
--host：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 -max-num-seqs：最大同时处理的请求数，超过后在等待池等候处理。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
--host：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 -max-num-seqs：最大同时处理的请求数，超过后在等待池等候处理。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。(用户在输入test_count时，要小于
用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。(用户在输入test_count时，要小于
--host：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 -max-num-seqs：最大同时处理的请求数，超过后在等待池等候处理。 --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config
如果要使用自动重启功能，资源规格必须选择八卡规格。 当前功能还处于试验阶段，只有llama3-8B/70B适配。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图4 选择资源池规格 作业日志选择OBS
如果要使用自动重启功能，资源规格必须选择八卡规格。 当前功能还处于试验阶段，只有llama3-8B/70B适配。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS
表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。(用户在输入test_count时，要小于
表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
训练模型时引用依赖包，如何创建训练作业？ ModelArts支持训练模型过程中安装第三方依赖包。在训练代码目录下放置“pip-requirements.txt”文件后，在训练启动文件被执行前系统会执行如下命令，以安装用户指定的Python Packages。 pip install
用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。(用户在输入test_count时，要小于
size”，默认是10G，云上统一改为50G。 “/cache”目录满了，一般是3.5T存储空间满了，具体规格的空间大小可参见训练环境中不同规格资源“/cache”目录的大小。 处理方法 如果在训练作业的工作目录下有core文件生成，可以在启动脚本最前面加上如下代码，来关闭core文件产生。 import
用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。(用户在输入test_count时，要小于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
