Sembra un problema di comunicazione con il modem... può essere causato da una miriade di fattori, dal chipset utilizzato (Lucent? brrr...) fino a un guasto hardware o alla risposta non corretta (del modem) nel caso di classe non impostata correttamente (Class 1, 1.1, 2, 2.0, 2.1...).
Potrebbe essere anche il firmware bacato o la mancata corretta risposta a determinati comando AT inviati al modem da hylafax...
Consiglierei cambio modem e provare, anche a me è capitato un problema simile con funzionamento a tratti e dopo vari tentativi ho risolto sostituendo il modem. Tempo impiegato 5 minuti e tante rogne in meno, l'avessi fatto subito...