En primer lugar borra los correos que no han salido por más de 48hs.
Luego actualiza tu servidor (yum update, post-upgrade, y reboot)
Prueba nuevamente, y en caso de que ocurra nuevamente la falla buisca en qué aspecto se diferencian esos correos en cola con respecto a los que sí salen. Puede ocurrir que tengan adjuntos no admitidos, o muy grandes, o sean de otra cuenta de correo.
Para ello puede utilizar el qmHandle que lo encuentras en el wiki.