Topic: Grandi quantitativi di posta elettornica e backup superiore ai 50gb

[aspirina]

Innanzitutto ciao a tutti e complimenti per il forum.
Sono Luca e per me è la prima volta che installo SME.
La prima prova però non è andato tutto bene.. o meglio, vi spiego la situazione:
In un piccolo ufficio ci sono 5 caselle di posta elettronica fornite da un provider esterno (register.it).. ognuna di queste riceve circa 100 mail al giorno. La necessità è quella di fare il backup su un account amministratore di tutta la posta che entra, in quanto le politiche aziendali prevedono il backup per 5 anni di tutta la posta. La mia idea era quella di far ricevere tutte le email al server SME e poi redistribuirle in locale.
Venerdì scorso ho installato il tutto in una macchina normale (intel i5, 4gb ram, e 4hdd da 1tb l'uno), poi ho provveduto ad installare SME con le impostazioni di default, lasciando così il sistema a decidere il raid5 con l'hdd di spare.
Installato fatchmail (per ricevere la posta), abilitato horde, smtp ed imap. Tutto funzionava (quasi ), le email arrivavano, una copia andava all'account corretto ed una a quello di backup.
Ho deciso così di portare la macchina in ufficio per vedere se il tutto era fattibile. Il problema ora era quello di importare nell'account la posta che c'era già in Windows Live Mail. Ho così duplicato la mail con il menù (modifica -> seleziona tutto  modifica->copia in) nella posta imap che era sincornizzata con il server. E qui sono iniziati i problemi.. putroppo il solo accountpresenta già 40gb di email (circa 20.000).. durante il trasferimento il server deve aver preso paura e non è stato più raggiungibile.. Ho subito provveduto ad avviare un ping per vedere se era attivo ma l'esito è stato negativo, o meglio.. per una ventina di pacchetti non rispondeva più e poi ne faceva circa 5 dove funzionava.. l'interfaccia web era ko, l'unica soluzione è stata quella di riavviare il tutto e tornare a casa
Ora vorrei chiedere a voi se c'è una soluzione per ovviare a questo problema.. la distribuzione che ho installato è la 7.5.1.
Ringrazio in anticipo a chi mi aiuta..
Ciao
Luca

[Stefano]

ciao e benvenuto

il trasferimento di grossi quantitativi di email via imap è critico perchè i client tendono ad aprire troppe connessioni contemporanee..

ti consiglio (e si, è una bella rottura di balle) di procedere con calma..

le email di windows live mail comunque, mi confermi, sono in locale, vero? (sul client intendo)

[aspirina]

Ciao Stefano, grazie ancora per l'aiuto.. comunque si, ti confermo che le email sono tutte in locale, su WLM proprio perchè register.it fornisce solo 2GB di spazio per la posta.
Quindi tu dici di spostarle a piccoli pezzi.. tipo 2000 email al colpo? meno? di più?
Il fatto che il server non rispondesse al ping (ne pingava solo 4 su 10) è normale ? cioè a causa delle troppe connessioni è andato in pappa...
C'è la possibilità magari di modificare il numero di connessioni per host ?
Ciao
Luca

[Stefano]

ciao

non conosco il client di WLM ergo non so esserti molto di aiuto..
ti consiglio di muovere poche centinaia di messaggi alla volta.. e prova a vedere se TB nelle ultime versioni è in gado di importare le email da WLM (TB implementa imap in modo più ortodosso rispetto ai prodotti M$)

infine, ti consiglio di leggere qui (parte relativa a imap/imaps) per settare alcuni parametri

[aspirina]

Grazie Stefano,provvederò ad importare la posta in TB,mentre ho già modificato il numero di connessioni IMAP e IMAPS per host da 12 di default a 50,mentre il numero globale l'ho lasciato così come sta!! (Dato che gli utenti non sono molti) . Poi ho implementato il bbs per la duplicazione di ogni email e per il momento sembra funzionare molto bene
Grazie veramente!!!!
ciao
Luca

[Stefano]

tienici informati

per cortesia, "registrati" nello sticky topic "[OT] dove siamo?", grazie

[aspirina]

ciao, nulla da fare proprio, sono in crisi 
Attualmente il server conta circa 11.000 mail in una sola casella.. ma nel momento in cui dall'esterno (per il momento ho solo la possibilità via internet) mi collego anche con Thunderbird mi sincornizza la posta ma si tenta ad impallare sia il server che il pc.. c'è forse una soluzione migliore per gestire tutta questa posta?
Mi puoi/potete dare qualche consiglio?
Grazie 1000

[pepz]

il pc ha il disco formattato in fat32 ?

[Incognito]

Il tuo problema è la banda, quando c'è una mole di dati enorme la banda si satura e fa "impallare" (ma in realtà è solo concentrato sulla ricezione/invio) tutto.
Trova qualche programma che ti permetta di consultare le caselle mbox/maildir anzichè continuare a gestirle in imap: una specie "mailing list archive" (avete presente di cosa sto parlando vero?)

[aspirina]

@pepz: il disco e' formattato in ext3 lvm che e' il formato di default di sme

@Incognito: per me sono le prime volte che devo implementare un sistema di posta elettronica, di solito seguivo la trasmissione dati..
Il problema penso sia proprio quello li, ogni volta il sistema imap deve leggere tutto quanto e per questo penso si blocchi.. mi puoi dire cosa intendi tu per mailing list archive? intendi MailArchiva http://wiki.contribs.org/MailArchiva? come verrebbe l'accesso alla mail?
Ciao e grazie
 

[pepz]

@pepz: il disco e' formattato in ext3 lvm che e' il formato di default di sme

intendevo il disco del client ...  se il fs limita le dimensioni del db di posta...

[aspirina]

no no, tutti i client utilizzano windows 7 (apparte uno con xp) ma hanno il fs NTFS..
pensavo di convertire tutto in thunderbird ma nemmeno con quello funziona..

[Stefano]

@aspirina: mi contatti in pvt, please? o su skype se preferisci

[Incognito]

@pepz: il disco e' formattato in ext3 lvm che e' il formato di default di sme

@Incognito: per me sono le prime volte che devo implementare un sistema di posta elettronica, di solito seguivo la trasmissione dati..
Il problema penso sia proprio quello li, ogni volta il sistema imap deve leggere tutto quanto e per questo penso si blocchi.. mi puoi dire cosa intendi tu per mailing list archive? intendi MailArchiva http://wiki.contribs.org/MailArchiva? come verrebbe l'accesso alla mail?
Ciao e grazie

Intendevo una cosa differente, hai presente le mailing list che ci sono su internet? Dove puoi accedere agli archivi, cioè consultare le "discussioni" della lista (che non sono altro che mail) passate?
Una cosa del genere, in modo da archiviare le mail più vecchie e mantenere le caselle più vuote, senza toccare le caselle esistenti; con un cronjob puoi spostare tutte le mail di notte nell'archivio così i client sincronizzano solo le recenti ed è possibile consultare via web le altre.

Sempre che sia una soluzione fattibile nella tua realtà.

[aspirina]

si si, adesso ho capito cosa intendi tu, ma purtroppo non penso sia una soluzione possibile.. piu' che altro significherebbe lo stravolgimento del sistema attuale (utilizzano client email sui pc), con la conseguente riformazione tecnica del personale..
 

[pepz]

e dividerle x anno?
ogni anno una cartella / db separato

[Fumetto]

...non penso sia una soluzione possibile.. riformazione tecnica del personale...

Purtroppo un server lo si cambia, il personale no; e a volte è più difficile addestrarlo alle nuove tecnologie che addestrarlo partendo da zero...

Hai tutta la mia comprensione

[aspirina]

@pepz: stavo pensando anche io a quella soluzione li, ma il problema si crea durante l'indicizzazione dei files.. pensavo pure di dare la sincronizzazione solo dell'header dei messaggi, ma dovrei farlo per ogni client su ogni cartella, e non penso sia questa la soluzione più adatta..

@Fumetto: già!! Ma per questo avevo pure in mente di usare sogo, che mi sembrava molto in stile office, outlook, ecc... però installare un server di queste dimensioni con un sistema beta, non penso sia il massimo.. se non ci saranno altre soluzioni proverò a cambiare il firmware del personale

EDIT: c'e' qualche modo per far si che ogni mese la posta in arrivo venga spostata in una nuova cartella, magari in automatico?

[Incognito]

Non so con imap, ma penso sia una regola/filtro che puoi impostare sui client.
Un qualsiasi gestore di mailing list importa/sposta le mail con cadenza settimanale/mensile/annuale ecc. prova a guardarne qualcuno e a prendere spunto per uno script.
Anche in altre cartelle quando l'utente accede avviene la sincronizzazione.

[aspirina]

il problema che ho una casella di backup che riceve tutta la posta inviata/ricevuta che passa attraverso il server e volevos apere se c'era qualcosa che lo faceva in automatico

EDIT: stavo quasi pensando di creare uno script che ad inizio mese mi creasse una nuova cartella e che trasferisse tutto dentro la. Pero' ho notato che se anche creo una nuova cartella, dentro maildir e ci copio i file presenti in cur (cartella inbox per intenderci) nella mailbox non vedo le email..

[aspirina]

Non con poca semplicità ma l'impresa è riuscita!!!
Il problema del blocco del server veninva provocato da Windows Live Mail, dal momento in cui bisogna effettuare il trasporto delle vecchie mail presenti nel pc al server imap (le spostavo semplicemente con il comando "copia in ..") andava in loop continuando a duplicare le email su sestesse, ottenendo così la saturazione della cpu/ram/hdd/lan...
Per ovviare a tutto questo ho usato IMAPSize, un utile software che converte le email in Mbox(forma un solo file), ho provveduto a trasferirlo nel server e poi attraverso l'uso di Mb2md, mi ha riconvertito il file Mbox in MailDir. Settati i permessi dei relativi utenti, atteso la rigenerazione degli indici e tutto è andato a dovere.
Spero vi possa essere utile pure a voi questa mini-guida nel caso aveste molte mail.
In più mi sono permesso di effettuare un piccolo script.

Code: [Select]

#!/bin/bash

dataoggi=$(date +%Y_%m)

cd /home/e-smith/files/users/backup/Maildir/

mkdir .$dataoggi/
chmod -R 755 .$dataoggi/
chown -R backup:backup .$dataoggi/

mkdir .$dataoggi/new
chmod -R 755 .$dataoggi/
chown -R backup:backup .$dataoggi/new

mkdir .$dataoggi/tmp
chmod -R 755 .$dataoggi/tmp
chown -R backup:backup .$dataoggi/tmp

mv cur .$dataoggi/

mkdir cur
chmod 755 cur
chown backup:backup cur

Utilizzo un account chiamato "backup" che mi intercetta e duplica il traffico email in ingresso/uscita dal server (sono circa 3000 email al mese) data la vasta mole di dati ho pensato di dividerle mensilmente. Così dopo averlo riposto dentro /etc/cron.monthly ogni mese mi sposta la cartella attuale e ne crea una di nuova dove ricevere la posta.
Non sarà il migliore degli script in circolazione ma almeno funziona.
Magari con il tempo implementerò qualche cosuccia (l'invio mail dei rapporti per esempio)..
Spero vi possa essere utile
Ciao
Luca

[Stefano]

complimenti, sia per la riuscita della cosa che per l'atteggiamento

[Incognito]

Bravo, ma queste mail sono consultabili dagli utenti? Se sì, come?

Se utilizzi un gestore di mailing list oltre allo script (che tu hai fatto da solo)  hai la consultazione online delle mail archiviate per settimana/mese/anno.

[aspirina]

grazie anche a voi per gli aiuti 

@Incognito: queste mail, che finiscono tutte ammucchiate nell'account "backup" non devono essere consultabili dagli utenti normali (ci va di mezzo pure la privacy). Solo in caso di problemi legati alla giustizia si ricorrerà all'uso. E per la ricerca delle email mi affiderò al "trova" di horde
Ti faccio una domandona invece, ma se usassi questo script per le mailing list, lo si può far interagire utente per utente. Mi spiego meglio: può essere una cosa legata ad ogni account? in modo che ogni utenta veda solo le proprie mail e non le altrui..
Usi Ezmlm/mailman ?

Ciao ciao e grazie ancora a a tutti che mi avete aiutato

[Incognito]

Questo non te lo so dire, io non gestisco mailing list è stata un'idea basata su quel che so del funzionamento di una mailing list.
Per assurdo potresti usare una mailing list per ogni utente e quindi ognuno vedrebbe le sue, ma prima dovresti sceglierti e studiarti bene il prodotto che vuoi utilizzare.

[aspirina]

forse mi è sfuggito un piccolo particolare
I client che si collegano hanno la loro posta elettronica personale !! quindi la possono consultare sia via imap e sia via webmail.. L'account backup effettua solamente una copia di tutta la posta ricevuta/uscita e la organizza per mese..
Penso che non si possa offrire di più per il momento

PS: stasera ho provato a mettere in crisi la cpu, risultato: ha scarica 18.000 mail in meno di 10min! Che bomba

Ciao Ciao
Luca

[Stefano]

PS: stasera ho provato a mettere in crisi la cpu, risultato: ha scarica 18.000 mail in meno di 10min! Che bomba

non ho capito cosa hai fatto.. ma se su imap hai solo stressato i dischi, la cpu non fa poi molto