检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。
该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。
该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。
这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。
seed 1234 随机种子数。每次数据采样时，保持一致。 convert_mg2hf_at_last true 表示训练完成的权重文件会自动转换为Hugging Face格式权重。
无业务节点定义：在资源池详情“节点管理”页签下，如果GPU/Ascend的可用数等于总数，则为无业务节点。 滚动驱动升级时，驱动异常的节点对升级无影响，会和驱动正常的节点一起升级。 图2 驱动升级 选择完成后，单击“确定”开始升级驱动。 父主题： Lite Cluster资源管理
core String 资源规格的核数。 cpu String 资源规格CPU内存。 gpu_num Integer 资源规格GPU的个数。 gpu_type String 资源规格GPU的类型。 spec_code String 云资源的规格类型。
图2 开启故障重启 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。本次qwenvl模型选用 8* ascend-snt9b。 图3 选择资源池规格 在OBS中新建一个log目录，作业日志选择OBS中的该路径，训练作业的日志信息则保存该路径下。
图2 开启故障重启 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。本次qwenvl模型选用 8* ascend-snt9b。 图3 选择资源池规格 在OBS中新建一个log目录，作业日志选择OBS中的该路径，训练作业的日志信息则保存该路径下。
这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。
这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。
比如指定运行模型的数据类型； vllm_path是模型权重路径； max_model_len 是最大模型长度，默认设置为4096； gpu_memory_utilization是gpu利用率，如果模型出现oom报错，调小参数； tensor_parallel_size是使用的卡数；
limit 否 Integer 指定每一页返回的最大条目数，默认为“280”。 sort_by 否 String 指定排序字段，可选“create_at”、“model_version”、“model_size”，默认是可选“create_at”。
无业务节点定义：在资源池详情“节点”页签下，如果GPU/Ascend的可用数等于总数，则为无业务节点。 滚动驱动升级时，驱动异常的节点对升级无影响，会和驱动正常的节点一起升级。 图1 驱动升级 设置完成后，单击“确定”开始驱动升级。 父主题： 管理Standard专属资源池
而计算的数值精度问题，（Computational Precision，Floating-Point Arithmetic Precision等）,则是由于浮点数计算过程的有限字长效应及计算序所带来的近似误差，包括各种计算的数学表达，都会带来结果的近似性。
比如指定运行模型的数据类型； vllm_path是模型权重路径； max_model_len 是最大模型长度，默认设置为4096； gpu_memory_utilization是gpu利用率，如果模型出现oom报错，调小参数； tensor_parallel_size是使用的卡数；
规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。
基于vLLM不同模型推理支持最小卡数和最大序列说明章节。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU
规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
