Bon j'ai auto trouvé la solution, donc j'en fais partager le plus grand nombre.
J'ai carémment appeller le FAI qui hébergeait les boites. Il m'a suggéré d'ajouter l'En-tête de tri "envelope-to" ce que je me suis empressé de faire. (dans le gestionnaire du serveur => paramètres messagerie)
ça a l'air de fonctionner, donc je suis plutôt content !
Du coup j'ai passé mon délai de récupération des mails à 5 min.
Bon maintenant va falloir que je vois tout l'aspect SPAM, ça va me saouler !