AI开发平台MODELARTS-使用SFS盘出现报错rpc_check_timeout:939 callbacks suppressed:原因分析

时间:2024-09-07 18:48:32

原因分析

根据SFS客户端 日志分析 出现问题的时间点发现,SFS盘连接的客户端个数较多,在问题的时间点并发读取数据,I/O超高;当前SFS服务端的机制是:当SFS盘的性能到上限时,就会IO排队。IO排队造成处理时间超过 1 分钟时,客户端内核会打印"rpc_check_timeout:939 callbacks suppressed"日志。这个日志只是说明某个IO处理时间超过 1 分钟了,不会造成数据丢失。客户端有重试机制,等峰值过去后,所有IO最终都会正确处理。所以理论上,出现该错误日志, 并不会造成数据丢失, 只是SFS客户端I/O速度变慢或卡顿,但最终会争取处理。

support.huaweicloud.com/trouble-modelarts/modelarts_13_0282.html