Pour le problème de RAM: ça n'en est probablement pas. Tant que le SWAP n'est pas exploité (du moins, pas trop), pas de soucis, Linux est conçus pour utiliser toute la RAM qu'on lui met à disposition, c'est une bonne chose qu'elle arrive à saturation.
Pour le reste, il va falloir plus de détails, tu peux commencer par regarder dans /var/log/qmail/current