Topic: Degrade array.... ancora

[Spillo]

salve,

Ho un problema che a quanto pare stia diventando ricorsivo.

A maggio di quest'anno avevo un'installazione SME 8.x 4 Gb – no raid disk, su un'infrastruttura VMWare con HW IBM di seguito indicata

- 2xStorage V7000
- 3xBlade HS23

Ricevo un telefonata da un collega che non riesce ad autenticarsi traite Webmail, ma se usa il client di posta Thunderbird tutto ok.
Provo a collegarmi tramite webmail pure io...stessa cosa...credenziali non riconosciute.
Scarico l'account di admin...cosa che faccio tutte le mattine, ma non trovo nulla.
Riavvio il server e si ferma a: “Waiting for slapd to startup” problema con il raid....
Riesco a montare il disco di questo SME su un altro approfittando per fare un upgrade alla 9.x faccio un rsync degli utenti tutto ok..... un paio di ore di lavoro e tutto torna come prima.

Stamane tutto ok... poi di colpo la stessa storia....stessi sintomi da web mail e poi giù tutto.
Rifatto lo stesso giochetto per riavere il server on line visto che abbiamo un traffico di mail pazzesco e non posso stare fermo..... ma i dischi del V7000 non mi danno problemi, non ho errori sull'infrastruttura ne su altri server presenti, premetto che la SME 9.x l'ho installata su uno storage diverso.

Mi è sorto un dubbio di problematiche con SME o CentOS e la mia infrastruttura...... unico server a dare problemi sia tra i linux che con i Windows.

[Stefano]

Riavvio il server e si ferma a: “Waiting for slapd to startup” problema con il raid....

slapd e raid non spartiscono nulla
in assenza di messaggio di errore preciso, difficile darti info

in ogni caso quando dici "no raid disk", COSA intendi?
dmesg cosa dice?
in /var/log/messages c'è qualcosa?

[Stefano]

inoltre, il tuo sbj "degraded array" da COSA lo desumi?

[Spillo]

Ciao S.

Quando scrivo no raid disk intendo che ho configurato l'SME con un solo Hdd....avendo un infrastruttura gia con Raid ho ritenuto non opportuno crearne uno.

Per l'Array degrade, una volta che ho sincronizzato le vecchie caselle con il nuovo server ho trovato nell'account di admin il segente msg

This is an automatically generated mail message from mdadm running on "miodominio".

A DegradedArray event has been detected on md device /dev/md1.

ed

This is an automatically generated mail message from mdadm running on "miodominio".

A DegradedArray event has been detected on md device /dev/md2.


Per i log devo attendere un po per avere il tempo di staccarmi dal telefono... poi li posto

[Stefano]

allora hai installato SME con un solo disco, non con il raid disabilitato.. SME,anche con un solo disco, crea comunque un raid 1 in degraded mode, in modo che aggiungendo un secondo disco si possa avere un raid1

dovresti comunque postare il contenuto delle email, oltre a

Code: [Select]

cat /proc/mdstat

per i log, è fondamentale capire cosa stia succedendo

[Spillo]

Ciao Stefano,

scusami ma non mi sono dimenticato...ovviamente....

Per quanto riguarda la mail admin ho ricevuto solo i 2 mes che ho postato sopra, la casella di admin la leggo circa 4 volte al giorno, per cui non ho roba vecchia da controllare e in genere sono tutti msg di errore per account inesistenti, quelli riportati sopra sono gli unici 2 che fanno riferimento ad un errore e sono arrivati qualche minuto prima del casotto.

Per i log ho un po di problemi ad accedere al VMDK sto partendo in modalita linux rescue e sto cercando di copiami i message
Questo lo posso fare tra una pausa e l'altra..... spero oggi di avere 15 minuti e posto i log .... perdonami

Ora sul nuovo server ho un problema per 2 account che non riuscivano ad accedere, li ho cancellati perche erano vuoti e poi ho cercato di ricrearli. Quando pero ho fatto quest'operazione mi ha dato un messaggio di errore dicendo che l'utente era presente nella lista user-delete. ho provato a cancellarli dal db con:

/sbin/e-smith/db account delete nome.cognome

ma il problema è rimasto.......

[Stefano]

allora.. con calma

partendo dalla fine: cancellare un account e ricrearlo non è MAI né una buona idea né la soluzione ai problemi.. se non riesci ad accedere è importante capire il perchè.. e questo solo i log te lo possono dire
per risolvere il problema (posto che sia qui nei forums che nel wiki se ne parla) devi cancellare la riga relativa all'utente sia in /etc/passwd che in /etc/shadow.. FATTI una COPIA dei file prima di modificare

relativamente al discorso raid, non hai risposto almeno alla domanda implicita del mio post precedente: quando hai installato SME su un disco solo (comprensibile su una infrastruttura virtuale) hai anche usato i parametri al boot per disabilitare il raid?
infine, anche se virtuale e premettendo che al momento NULLA ci è dato a sapere su cosa sia successo, il disco può soffrire di corruzione..
attendiamo di sapere cosa dicono i log..

ah, infine.. il backup? perchè il recover dei dati non serve se hai un backup

[Spillo]

Per quanto riguarda /etc/passwd e /etc/shadow avevo gia controllato e non erano presenti gli account incriminati

il problema l'avevo avuto in passato e queste sono operazioni che avevo gia fatto altre volte ed erano andate a buon fine.


Per il RAID scusami, vero, non ho risposto ed ho effettivamente installato l'SME standard senza disabilitare il raid.....


perdonami per i log ma sono affogatissimo....spero di postarteli oggi stesso....

[Spillo]

ciao,

allora in messages non ho trovato nulla di significativo...fatto ricerca su error o failed e a parte errori di autenticazione utenti non riporta nulla.

Per le mail come gia avevo scritto in precedenza le uniche a riguardo sono quelle che ho postato sopra relative al degrade array.
L'account di admin lo leggo 3-4 volte al giorno per cui in precedenza non c'era alcun avviso....

Rimane il problema di quell'account che quando cerco di ricrearlo mi dice:

l'utente "nomeutente" non può essere creato perché esiste già un user-deleted con quel nome.

Purtroppo, come spesso capita è un account di riferimento per cira 12.000 contatti.......e da lunedi non riesco a farlo ripartire.

ciao

[Stefano]

Code: [Select]

db accounts show | grep nomeutente

cosa riporta?

P.S. contattami offline su skype, grazie

[Spillo]

Riporto casomai servisse anche ad altri....

db accounts show | grep nomeutente

riporta

nomeutente=user-delete

come indicato da Stefano editato il file accounts dopo aver fatto una copia ed eliminato a manina le righe che contenevano l'account in questione...tutto OK

Per il problema avuto sul disco purtroppo non c'e stata possibilita di capire ... se dovesse ricapitare..... (toccatina).....vedremo.

Grazie S. tanto per cambiare.

[Spillo]

Ciao,

Si è ripresentato il problema del degrade array, questa volta pero non ha causato tutte le problematiche descritte sopra.
Verso le 13 circa stavo creando un utente e scaricando la mail di admin ho ricevuto:

This is an automatically generated mail message from mdadm running on "miodominio"
A DegradedArray event has been detected on md device /dev/md1.

Sinceramente mi stavo preparando al peggio, ma pare che la cosa sia terminata li.

Comunque ho visto l'occupazione delle risorse con "top" ... nulla di strano, considerando pero che l'errore era di 2,5 ore prima.
Poi ho cercato  nei log in messages e dmesg

In dmesg non ho riscontrato nulla, o almeno così mi è sembrato mentre in messages ho trovato un errore che si ripresenta spesso e a diverse ore della giornata....

Jul 22 09:57:13 mail HORDE[2558]: PHP Warning:  preg_replace() [<a href='function.preg-replace'>function.preg-replace</a>]: Compilation failed: recursive call could loop inde$p indefinitely at offset 40 in /home/httpd/html/horde/lib/Horde/Text/Filter/html2text.php on line 213

Jul 23 14:27:14 mail httpd: PHP Fatal error:  Allowed memory size of 33554432 bytes exhausted (tried to allocate 8274367 bytes) in /usr/share/pear/Net/SMTP.php on line 788

[Stefano]

ciao

ignorerei il discorso dell'array

per gli errori php..

per il primo non so che dire, fossi in te posterei nei forum in lingua inglese, nella sezione SME8
per il secondo, se cerchi quel messaggio di errore (al netto dei valori numerici) qui nel forum e nelle FAQ/Wiki, trovi la soluzione

[Spillo]

Ciao S.

Per cui per la cosa che ritenevo più preoccupante, visto i precedenti, mi tranquilizzo.

Il secondo messaggio il problema PHP dovrebbe dipendere, stando a quanto trovato, da allegati troppo grandi. Se è cosi lascio il mondo come cosi come si trova ora, abbiamo dei server ad hoc per fare questo tipo di trasferimento file.
Una curiosità, a parte il carico di lavoro, aumentare la possbilità di inviare allegati sia tramite webmail, sia tramite smtp comporta altri tipi di rischi?

Gra<ie 

[Stefano]

no.. se imposti i limiti della memoria correttamente
sono più valori da impostare.. la memsize di php, le max dimensioni allegato, anche in clamav.. trovi tutto nel wiki e almeno uno zilione di esempi qui nei forums

[Stefano]

relativamente all'altro errore (warning) php, cercando per "PHP Warning: preg_replace() Compilation failed: recursive call could loop" trovo parecchia roba relativa ad horde, ma vecchiotta

è comunque un warning, quindi ritengo tu possa ignorare senza problemi

[Spillo]

Ciao S,

allora la situazione si è ripresentata esattamente come il 13/06/15 all'apertura di questo post.....
Ho fatto i controlli che mi avevi detto di effettuare...
Se uso smtp e pop tutto ok lentamente..ma va..... da webmail non si accede..
in ssh non riesco ad entrare sul server
da console, la SME è vitualizzata su ESXi, quando digito "top" vedo cpu a palla... 99,7-100% e ram quasi completamente esaurita....
ok pare essere problema di  risorse....il lavoro è un po cambiato ed ora molti colleghi usano webmail
La volta scorsa prima di fare qualsiasi operazione ho atteso che gli uffici chiudessero nella speranza che la cpu si riprendesse, ma la cosa non è avvenuta, resta fissa a 99-100%. Se volessi far ripartire il server sicuramente non si riavvierebbe (gia capitato) si blocca sulla voce 
"waiting for slapd to startup"....


 

[Stefano]

ok..

non ricordo i numeri relativi agli utenti, ma se sono "importanti", cpu e ram devono essere adeguati..
riguardo alla cpu, il fatto che sia a 100% non è di per se un problema.. è necessario appurare quale sia il processo che la consuma, verificare se il carico sia alto ed evidenziare se per caso, il parametro wa (che vedi tra i risultati di top) si mantenga basso..

riesci a fare, tramite putty, un cut&paste di quanto vedi dando il comando top? (ti basta selezionare col mouse e poi incollare direttamente qui.. usa il tag code, grazie)

[Spillo]

Ciao S,

allora i numeri di utenti sono importanti, circa 450..... la distribuzione che ho installato è una 32 bit e ho solo 2 Gb di RAM.. Il parametro wa è 0 ...

 

Code: [Select]

top - 11:22:32 up    1:45,  1 user, load average: 4.26, 4.02, 3.54
Task:  400 total, 4 running, 396 sleeping, 0 stopped, 0 zombie
Cpu(s): 99,7%us, 0.2%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.2%hi, 0.0%si,
Mem: 2074972k total, 1931436k used, 143536k free, 46128k buffer
Swap: 4128760k total,  76k used,  4128684k free,  297956k chached 

[Stefano]

450 utenti, 2 GB di ram e 32 bit significa mettere il sedere davanti alle pedate (Cit.)
programmare migrazione su 64bit, almeno , ALMENO 4 GB di ram, asap

[Spillo]

Ciao S,

... ti dirò il nuovo server era gia configurato.... vers. 64 bit 2 cpu e 6 gb di ram....per pigrizia e per ferie la migrazione non l'ho fatta.
L'unico problema è che sulla machcina attualmente in servizio non ho installato il lazy che utilizzo per backup degli utenti e dei gruppi, attualmente ho, come scritto prima la cpu a palla con
- 3 root che eseguono sshd ed ognuno di questi chiede il 49% di CPU
- 1 ldap che esegue slapd che vuole il 51%
gli altri processi sono irrisori variano tra lo 0.1 e lo 0.3 di CPU.
Volendo installare un lazy per esportare i 450 user anche sulla macchina attualmente in produzione dovrei fare un riavvio e sicuramente non ripartirà.....

[Stefano]

3 root che eseguono sshd ed ognuno di questi chiede il 49% di CPU

non mi è chiaro..
usi backuppc? affa?

quanto alla migrazione, lascia perdere lazy, puoi effettuare la migrazione "a caldo" usando affa o dei custom script.. ne parliamo con calma

[Spillo]

No, ne backup pc ne affa

in genere le migrazioni le facevo esportando tutto con lazy sul nuovo server e poi sincronizzavo le cartelle con rsync....

[Stefano]

allora determina cosa sono quelle

3 root che eseguono sshd ed ognuno di questi chiede il 49% di CPU

quanto alla migrazione:
http://wiki.contribs.org/Backup_server_config#Cloning_a_server_for_Test_purposes.2C_using_inclusion_.26_exclusion_files

con questo cloni il server (la conf) in un file smeserver.tgz da ripristinare sulla macchina nuova..
occhio che:
- con questa soluzione NON crei la dir Maildir nella directory utente
- quando hai finito, nuovo server e vecchio server NON possono convivere.. (hanno tutto uguale)

ergo.. clona la macchina.. quando è in linea, riconfigura quella vecchia con ip e hostname diverso, poi comincia a fare rsync (che sai già come usare, pare)

[Spillo]

...ok...
provero quando andranno via dagli uffici..... avrò silenzio e tranqullita...
Ti aggiornero sulla situazione...

grazie S

[Stefano]

prima, fai un test su una macchina virtuale

in caso sai come trovarmi

[Spillo]

Ciao S.

Code: [Select]

in caso sai come trovarmi
Con un PC a qualsiasi ora e come sennò???

allora...i processi che erano attivi e che consumavano il 98-99% della CPU ognuno di loro li ho stoppati, il server ha ripreso a funzionare e rispondeva sia ad ssh sia al server-manager sia alla webmail.
Unico problema è che una volta riavviato, come gia capitato le altre volte non è piu ripartito.
Ho montato il cd di sme e sono partito in modalita linux rescue, poi ho installato  il lazy tool ed esportato sia utenti, gruppi, etc.., ho sincronizzato le cartelle degli user con il nuov server e tutto è ripartito "quasi" senza colpo ferire......

Per la procedura da te segnalata, non conoscendola ho preferito non farla in un momento di emergerza come questo, fine settimana faro un clone del server e provero a seguirla con calma senza la preoccupazione di venire linciato il lunedi mattina da 450 persone perche la mail non funziona.

Attualmento ho installato la ver 8 64 bit con 4cpu e 6 gb di ram.... se si pianta pure ora....

Ascolta, facendo mente locale tutti questi problemi li ho avuto da quando ho virtualizzato la v. 8 di SME, prima con la 7 mai riscontrato questi "schiantamenti" ...... problemi con la 8 e la ia versione di ESXi?

Ricordo che mi hai detto che hai diverse macchine virtualissazte su ESXi e che non hai mai avuto problemi....

Ho altri 6 server SME v. 8 in azienda ma tutti su macchine reali e fanno da file server i diverse sedi, pure li nessun problema.

P.S .Le uniche cose che non ho salvato sono la rubrica degli indirizzi di horde, e un elenco di domini (circa 1.000)  che avevo messo a manina nel tempo in black con spamassassin...

Sarebbe comodissimo poterle recuperare....

ciao

[Stefano]

allora...i processi che erano attivi e che consumavano il 98-99% della CPU ognuno di loro li ho stoppati, il server ha ripreso a funzionare e rispondeva sia ad ssh sia al server-manager sia alla webmail.

eh, già, ma a TE interessava capire quali fossero tali processi, per capire la causa e prevenire il problema

Unico problema è che una volta riavviato, come gia capitato le altre volte non è piu ripartito.

anche qui, mi sono perso e la mia memoria fa cilecca.. che problemi?

Ho montato il cd di sme e sono partito in modalita linux rescue, poi ho installato  il lazy tool ed esportato sia utenti, gruppi, etc.., ho sincronizzato le cartelle degli user con il nuov server e tutto è ripartito "quasi" senza colpo ferire......

aha (vedi sotto)

Per la procedura da te segnalata, non conoscendola ho preferito non farla in un momento di emergerza come questo, fine settimana faro un clone del server e provero a seguirla con calma senza la preoccupazione di venire linciato il lunedi mattina da 450 persone perche la mail non funziona.

comprensibile.. iniziare la settimana con una grana del genere non è una bella prospettiva..

Attualmento ho installato la ver 8 64 bit con 4cpu e 6 gb di ram.... se si pianta pure ora....

perchè la 8? la 8 è quasi del tutto in "maitenance mode", i.e. saranno disponibili solo bug fixes.. è la 9 quella da usare..

Ascolta, facendo mente locale tutti questi problemi li ho avuto da quando ho virtualizzato la v. 8 di SME, prima con la 7 mai riscontrato questi "schiantamenti" ...... problemi con la 8 e la ia versione di ESXi?

domanda.. COME hai virtualizzato? installato macchina virtuale e fatto restore O (come temo) hai virtualizzato una istanza fisica?

Ricordo che mi hai detto che hai diverse macchine virtualissazte su ESXi e che non hai mai avuto problemi....

gli unici problemi sono stati relativamente all'installazione dei vmware tools..

Ho altri 6 server SME v. 8 in azienda ma tutti su macchine reali e fanno da file server i diverse sedi, pure li nessun problema.

mi sarei stupito del contrario

P.S .Le uniche cose che non ho salvato sono la rubrica degli indirizzi di horde, e un elenco di domini (circa 1.000)  che avevo messo a manina nel tempo in black con spamassassin...

Sarebbe comodissimo poterle recuperare....

aha (reprise)

il problema è che tu, con lazy, esporti solo una misera parte di quanto costituisce la conf di SME..
per gli indirizzi, essi sono in una tabella del db di horde..
per la lista degli indirizzi in BL, essi sono in un db..

per i primi la vedo duretta, nel senso che dovresti esportare il db di horde dalla macchina origine e piantarlo su quella nuova, col rischio di perdere delle info inserite nel mentre..
per i secondi, una volta installato il contrib, sostituisci il file del db, dai un

Code: [Select]

signal-event email-update

e dovresti essere a cavallo..

[nicolatiana]

Ma, Vmware Tools regolarmente installati alla fine ?

Nicola

[Spillo]

Scusate il ritardo non scambiatela per strafottenza/maleducazione, ma in azienda i problemi decidono di venir accompagnati SEMPRE con altri 2 o 3 amici simili...

Code: [Select]

eh, già, ma a TE interessava capire quali fossero tali processi, per capire la causa e prevenire il problema :-)
già.... oibò!

Code: [Select]

Unico problema è che una volta riavviato, come gia capitato le altre volte non è piu ripartito.
anche qui, mi sono perso e la mia memoria fa cilecca.. che problemi?
Al riavvio si blocca su  “Waiting for slapd to startup”

Code: [Select]

perchè la 8? la 8 è quasi del tutto in "maitenance mode", i.e. saranno disponibili solo bug fixes.. è la 9 quella da usare..
In genere non uso mai le ultimissime versioni...attendo un pochetto prima di installarle...

Code: [Select]

domanda.. COME hai virtualizzato? installato macchina virtuale e fatto restore O (come temo) hai virtualizzato una istanza fisica?
Allora, il primo SME era una macchina fisica per cui installazione standard, le successive sono tutte virtualizzate partendo da 0 per cui server virtuale creato e configurato e poi aggiornato alle versioni successive, non ho mai virtualizzato l'istanza in quanto quella fisica ci fu  portata via .. non da delinquenti ma per me e come se lo fossero!!! 

Code: [Select]

gli unici problemi sono stati relativamente all'installazione dei vmware tools..
Acc... Questi mi so dimenticato di installarli....ho risposto anche a Nicola.... appena rientro li installo...

Per la procedura ho gia creato un paio di macchine virtualizzate per provarla.... questa domenica so come passare il tempo... sempre che  fuori non ci sia sole altrimenti mare, qui ancora è possible....! (procedura spostata nel pomeriggio  )

[nicolatiana]

La mancanza dei tools è altamente sospettabile come causa di scarse prestazioni della VM.

[Stefano]

Al riavvio si blocca su  “Waiting for slapd to startup”

se senza VM tools -> I/O lento e hai 450 utenti.. ldap corposo.. ci sta.. non è bloccato, ci mette parecchio, tutto qui..

In genere non uso mai le ultimissime versioni...attendo un pochetto prima di installarle...

ahem.. la 9 è fuori da un eone.. è stabile, e sarà l'unica ad avere nuove features.. inoltre il S.O. di base è più virtualization friendly

Allora, il primo SME era una macchina fisica per cui installazione standard, le successive sono tutte virtualizzate partendo da 0 per cui server virtuale creato e configurato e poi aggiornato alle versioni successive, non ho mai virtualizzato l'istanza in quanto quella fisica ci fu  portata via .. non da delinquenti ma per me e come se lo fossero!!! 

non ho capito ma mi sono fatto una idea..

in ogni caso, la migrazione con i tools che usi tu è tendenzialmente incompleta e pericolosa..

Per la procedura ho gia creato un paio di macchine virtualizzate per provarla.... questa domenica so come passare il tempo... sempre che  fuori non ci sia sole altrimenti mare, qui ancora è possible....! (procedura spostata nel pomeriggio  )

[Spillo]

Ciao,

Code: [Select]

e senza VM tools -> I/O lento e hai 450 utenti.. ldap corposo.. ci sta.. non è bloccato, ci mette parecchio, tutto qui..
no.. no ... proprio si blocca... la prima volta che capitò era un venerdi pomeriggio, l'ho lasciato cosi per 40-50 minuti... proprio non si muoveva

Code: [Select]

ahem.. la 9 è fuori da un eone.. è stabile, e sarà l'unica ad avere nuove features.. inoltre il S.O. di base è più virtualization friendly
Ok... quella procedura da te indicata la posso usare per un passaggio dalla 8 alla 9? inoltre mi conviene disistallare i vari contribs tipo Lazy, vacancy message o possono restare?

Code: [Select]

non ho capito ma mi sono fatto una idea..
bene...noi stiamo sempre sotto schiaffo ... pure ora   

ciao

[Stefano]

no.. no ... proprio si blocca... la prima volta che capitò era un venerdi pomeriggio, l'ho lasciato cosi per 40-50 minuti... proprio non si muoveva

allora BISOGNA indagare

Ok... quella procedura da te indicata la posso usare per un passaggio dalla 8 alla 9? inoltre mi conviene disistallare i vari contribs tipo Lazy, vacancy message o possono restare?

li rimuovi e dopo li reinstalli dal repo giusto.. lazy lascerei perdere in ogni caso[