Topic: problema con raid in installazione opzione nospare

[antoniocangiano76]

Salve, un piccolo chiarimento...
Cerco di installare sme su un server con 4 hdd da 2tb cad con raid 5 software, senza lvm e senza dischi di spare, in modo da ottenere un volume di circa poco meno di 6Tb (4-1x2). Ho questa esigenza perchè questo server ospita solo 4 bay per gli hdd ed è necessario uno storage di almeno 6Tb. Per la sicurezza dei dati è stato cmq previsto un secondo server identico a questo per il backup.

Ho provato con
sme raid=[5] spare=[0] nolvm
e con
sme novlm nospare
ma ottengo un volume di 3.7Tb perchè mi imposta anche un hd di spare.
Penso che sia possibile eliminarlo smontanto il volume e usando mdadm ma vorrei capire perchè non sia possbile ottenere una situazione senza spare direttamente dall'installazione.
Mi date qualche suggerimento...
Grazie
Antonio.

[antoniocangiano76]

Salve, volevo integrare con un altro dettaglio....
ho notato che l'installazione con sme nolvm nospare ha creato 2 raid,
- un raid 1 per /boot di 4 hdd
- un raid 5 per il sistema con lospare
Spero che riusciate a darmi qualche consiglio....

[Stefano]

SME 7.5.1 o SME8b6?

i flag al boot li hai selezionati dopo averli visualizzati tramite F2/F3?

se si, allora qualcosa non ha funzionato, ergo apri bug in bugzilla, grazie

quando saprò la versione di SMe potrò esserti di maggiore aiuto

[antoniocangiano76]

Ho usato SME 7.5.1.
I parametri li ho inseriti dopo aver digitato F2.
Help me

[Stefano]

Ho usato SME 7.5.1.
I parametri li ho inseriti dopo aver digitato F2.
Help me

allora i casi sono 2:
- o hai digitato male il parametro e no, su SME 7.5.1 non è possibile cambiare il layout del raid (su SME 8b6 si, vedi qui)
- oppure siamo di fronte ad un bug, ergo devi andare su bugzilla e segnalare la cosa

propendo per la prima, visto che ho 4 server con 4 dischi in raid5 senza spare

P.S.: la prima sintassi non è corretta, e non esiste tra le opzioni di boot (appena verificato): dove le hai trovate?

[antoniocangiano76]

Posto il file mdadm.conf

Code: [Select]

ARRAY /dev/md3 level=raid5 num-devices=3 spares=2 UUID=42cd3903:e4b30200:89772c7c:6914ef59
ARRAY /dev/md2 level=raid5 num-devices=3 spares=1 UUID=ff6c6d37:93019eee:22027e6d:b0c10c75
ARRAY /dev/md1 level=raid1 num-devices=4 UUID=8a528c50:2ffe05b3:774b0b49:f7fd192d

per installare ho usato sme nolvm nospare su sme 7.5.1
Mi confermi quindi questa sintassi : "sme nolvm nospare"
Come mi dai conferma, rifaccio tutto e ti faccio sapere
...se è stato un errore di digitazione mi mangio una mano...
grazie

[Stefano]

ciao

rettifico quanto detto..

la sintassi da me indicata ERA valida per la 7.4 (la prova l'ho fatta con quella)

per la 7.5.1 è

Code: [Select]

sme spare=0 nolvm


[antoniocangiano76]

Grazie, provo subito e ti faccio sapere.

Antonio

[antoniocangiano76]

Purtroppo niente da fare .... mi vede sempre 3.7Tb

Per installare ho usato "sme spare=0 nolvm" (ho provato anche senza nolvm ma stessa cosa)

Posto df -h

Code: [Select]

Filesystem         Dimens. Usati Disp. Uso% Montato su
/dev/mapper/main-root
                      3,6T  1,5G  3,6T   1% /
/dev/md1               99M   16M   78M  17% /boot
none                  2,0G     0  2,0G   0% /dev/shm

Posto fdisk -l | more

Code: [Select]

Il disco /dev/md1 non contiene una tabella delle partizioni valida
Il disco /dev/md2 non contiene una tabella delle partizioni valida
Il disco /dev/dm-0 non contiene una tabella delle partizioni valida
Il disco /dev/dm-1 non contiene una tabella delle partizioni valida

Disk /dev/sda: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sda2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/sdb: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sdb2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/sdc: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdc1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sdc2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/sdd: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdd1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sdd2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/md1: 106 MB, 106823680 bytes
2 heads, 4 sectors/track, 26080 cylinders
Units = cilindri of 8 * 512 = 4096 bytes


Disk /dev/md2: 4000.5 GB, 4000578535424 bytes
2 heads, 4 sectors/track, 976703744 cylinders
Units = cilindri of 8 * 512 = 4096 bytes


Disk /dev/dm-0: 3994.2 GB, 3994286030848 bytes
2 heads, 4 sectors/track, 975167488 cylinders
Units = cilindri of 8 * 512 = 4096 bytes


Disk /dev/dm-1: 6274 MB, 6274678784 bytes
2 heads, 4 sectors/track, 1531904 cylinders
Units = cilindri of 8 * 512 = 4096 bytes

Posto mdadm --detail --scan

Code: [Select]

ARRAY /dev/md2 level=raid5 num-devices=3 spares=2 UUID=6fdce41c:500f9ed4:0c9d6d60:e47e0073
ARRAY /dev/md1 level=raid1 num-devices=4 UUID=68463bfa:b0113d57:cc2a3a2f:7ff647b1

posto mdadm --detail --scan /dev/md2

Code: [Select]

/dev/md2:
        Version : 00.90.01
  Creation Time : Wed Mar  9 12:12:43 2011
     Raid Level : raid5
     Array Size : 3906814976 (3725.83 GiB 4000.58 GB)
    Device Size : 1953407488 (1862.91 GiB 2000.29 GB)
   Raid Devices : 3
  Total Devices : 4
Preferred Minor : 2
    Persistence : Superblock is persistent

    Update Time : Wed Mar  9 19:31:06 2011
          State : clean, degraded, recovering
 Active Devices : 2
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 2

         Layout : left-symmetric
     Chunk Size : 256K

 Rebuild Status : 4% complete

           UUID : 6fdce41c:500f9ed4:0c9d6d60:e47e0073
         Events : 0.826

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       1       8       18        1      active sync   /dev/sdb2
       2       0        0        -      removed

       3       8       50        2      spare rebuilding   /dev/sdd2
       4       8       34        -      spare   /dev/sdc2

Sembra come se ignori completamente i parametri in fase di installazione. Il server che sto usando è un dual opteron 270 con ctrl sil sata e 4 hdd da 2Tb cad. Seagate. Il ctrl sata raid integrato non ha array creati o altre impostazioni, vede singolarmente i 4 hdd. Mi sono limitato a fare il boot dal cd di sme 7.5.1 e digitare "sme spare=0" senza premere F2 o altri tasti. Credo sia davvero inutile ma volevo segnalare che il layout della tastiera in fase di boot non corrisponde, quindi per digitare "sme spare=0" ho usato il tasto "ì" (i accentata) per ottenere l'uguale. Quando mi ha chiesto se recuperare la vecchia installazione, ho risposto di formattare tutto, al termine mi sono loggato e ho verificato con df- h.
Aiutami, sto impazzendo...
Antonio

[antoniocangiano76]

Un integrazione...
Mi sono rivisto i parametri attivabili in fase di installazione di sme 7.5.1 e risulta qualto segue ...

spares=[0,1,2] -> per impostare i dischi di spare

quindi non dovrebbero essere corretti "nospare", "spare=[0]" e nemmeno "spare=0"

Inoltre ho notato che qualsiasi valore si fa seguire a "sme" viene accettato anche se errato....non era preferibile che restituisse un errore in caso di parametri non corretti?

Faccio altre prove con "spares=[0]", "spares=0" e ti faccio sapere (vanno inserite le parantesi?).
Antonio

[Stefano]

se non funziona è un bug, ergo bugzilla..

puoi provare a scaricare la iso della 7.4, installare quella (sintassi diversa) e poi aggiornare

[antoniocangiano76]

Ho risolto dopo aver provato tante volte cambiando i parametri...
Quello giusto è

Code: [Select]

sme spares=0 nolvmquindi come indica nelle spiegazioni ma senza le parentesi quadre.
Certo che potevano essere un pò più chiari, magari un esempio o un messaggio di errore quando si digita qualcosa di non riconosciuto...
In questo modo mi vede un volume da 5.4Tb, probabilmente perchè assegna una percentuale di spazio alta per i blocchi riservati all'utente root. Non so se con qualche utility di tuning del fs sia possibile ovviare al problema (si tratta degli hdd dove risiede lo sme) e soprattutto non so se convenga farlo, comunque alla fine sono soddisfatto. Magari fammi sapere cosa ne pensi e se convienga agire per ridurre lo spazio riservato.
Ciao e grazie.
Antonio

[Stefano]

per le indicazioni fallaci: apri ticket per la documentazione
per lo spazio, man tune2fs (opzione m).. di solito io riservo l'1% che su storage del genere sono comunque un bel pacco

[antoniocangiano76]

Infatti, mentre di default mi sa che riservi il 5%, un pò troppo su storage di queste dimensioni.
Ho già usato tune2fs ma avevo un disco di sistema separato e un volume di storage raid su cui eseguivo l'operazione. Questa volta ho un array unico dove ho sistema e storage insieme, posso comunque usarlo? Devo avere altri accorgimenti?
Per aprire un ticket intendi segnalare il bug?

[antoniocangiano76]

Su wikipedia ho letto ...

Lasciare lo spazio riservato per i filesystem che contengono /var e /tmp, altrimenti ci si ritroverà con qualche problema.

Cosa mi consigli?

[Stefano]

Infatti, mentre di default mi sa che riservi il 5%, un pò troppo su storage di queste dimensioni.

esatto

Ho già usato tune2fs ma avevo un disco di sistema separato e un volume di storage raid su cui eseguivo l'operazione. Questa volta ho un array unico dove ho sistema e storage insieme, posso comunque usarlo? Devo avere altri accorgimenti?

lo puoi eseguire sul device dove è montato /

Per aprire un ticket intendi segnalare il bug?

si, riguardo la documentazione

[Stefano]

Su wikipedia ho letto ...Cosa mi consigli?

di fare quello che ti ho detto.. l'1% di 6TB quanto è?

[antoniocangiano76]

Ho un dubbio...a riguardo di tune2fs
Posto mdadm --detail --scan

Code: [Select]

ARRAY /dev/md2 level=raid5 num-devices=4 UUID=e2eaa425:d1b05f98:5feb93bf:cab8c9fc
ARRAY /dev/md1 level=raid1 num-devices=4 UUID=8947e9a3:455a13cf:00a7f4a6:1788aa2c
Quindi ho lanciato "tune2fs -m1 /dev/md2"
ma mi restituisce un errore

Code: [Select]

tune2fs -m1 /dev/md2
tune2fs 1.35 (28-Feb-2004)
tune2fs: Bad magic number in super-block while trying to open /dev/md2
Couldn't find valid filesystem superblock.

Quindi ho verificato fdisk -l |more di cui ti posto il risultato

Code: [Select]

Il disco /dev/md1 non contiene una tabella delle partizioni valida
Il disco /dev/md2 non contiene una tabella delle partizioni valida
Il disco /dev/dm-0 non contiene una tabella delle partizioni valida
Il disco /dev/dm-1 non contiene una tabella delle partizioni valida

Disk /dev/sda: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sda2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/sdb: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sdb2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/sdc: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdc1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sdc2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/sdd: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cilindri of 16065 * 512 = 8225280 bytes

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdd1   *           1          13      104391   fd  Autorilevamento raid di
Linux
/dev/sdd2              14      243201  1953407610   fd  Autorilevamento raid di
Linux

Disk /dev/md1: 106 MB, 106823680 bytes
2 heads, 4 sectors/track, 26080 cylinders
Units = cilindri of 8 * 512 = 4096 bytes


Disk /dev/md2: 6000.8 GB, 6000867803136 bytes
2 heads, 4 sectors/track, 1465055616 cylinders
Units = cilindri of 8 * 512 = 4096 bytes


Disk /dev/dm-0: 5994.5 GB, 5994566385664 bytes
2 heads, 4 sectors/track, 1463517184 cylinders
Units = cilindri of 8 * 512 = 4096 bytes


Disk /dev/dm-1: 6274 MB, 6274678784 bytes
2 heads, 4 sectors/track, 1531904 cylinders
Units = cilindri of 8 * 512 = 4096 bytes

Quindi ho provato con  "tune2fs -m1 /dev/dm-0" che sembra essere stato eseguito ma ha impiegato meno di un secondo e, lanciando df -h, mi ritrovo le stesse grandezze di storage.
Cosa sbaglio?

[Stefano]

posta il risultato di

Code: [Select]

mount


[antoniocangiano76]

ecco

Code: [Select]

/dev/mapper/main-root on / type ext3 (rw,usrquota,grpquota)
none on /proc type proc (rw)
none on /sys type sysfs (rw)
none on /dev/pts type devpts (rw,gid=5,mode=620)
usbfs on /proc/bus/usb type usbfs (rw)
/dev/md1 on /boot type ext3 (rw)
none on /dev/shm type tmpfs (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)


[Stefano]

quindi hai lvm e devi fare

Code: [Select]

tune2fs -m 1 /dev/mapper/main-root


[antoniocangiano76]

fatto ma mi vede sempre 5.4Tb come prima...

[antoniocangiano76]

Ho provato a lanciare

Code: [Select]

fsck -v -p /dev/mapper/main-root
ma mi avvisa sui rischi dell'operazione e non ho proceduto, volevo prima chiederti consiglio.

[Stefano]

lascia perdere fsck

mi pare strano che a te non cambi nulla.. appena fatto su un raid5 4x1.5

Code: [Select]

[root@microserver ~]# df -m
Filesystem        blocchi di   1M   Usati Disponib. Uso% Montato su
/dev/mapper/main-root
                       2766527      1554   2622176   1% /
/dev/md1                    99        12        82  13% /boot
tmpfs                     1964         0      1964   0% /dev/shm
[root@microserver ~]# tune2fs -m 1 /dev/mapper/main-root
tune2fs 1.39 (29-May-2006)
Setting reserved blocks percentage to 1% (7311278 blocks)
[root@microserver ~]# df -m
Filesystem        blocchi di   1M   Usati Disponib. Uso% Montato su
/dev/mapper/main-root
                       2766527      1554   2736414   1% /
/dev/md1                    99        12        82  13% /boot
tmpfs                     1964         0      1964   0% /dev/shm

come vedi i blocchi disponibili sono cambiati

[Stefano]

un chiarimento rispetto al mio ultimo post: trattasi di raid5 4x1.5 Tb con 1 spare (guardando il numero di blocchi il dubbio poteva sorgere)

[antoniocangiano76]

Ho ri-verificato, in effetti cambia. Provano df -h e non riuscivo a cogliere ma differenza, mentre provando con df -m, tutto ok.
Grazie
Antonio

[Stefano]

solo per sapere: è sempre la stessa macchina in tutto il topic? perchè mi pare strano tu abbia installato con nolvm e tu invece ce l'abbia..

io ho fatto delle simulazioni qui e funziona, quindi c'è "qualcosa che non va" dalla tua parte

[antoniocangiano76]

Si la macchina è sempre la stessa, ma è stata formattata più volte con opzioni diverse per far delle prove. Ero così disperato che nelle varie combinazioni avevo provato sia con che senza "nolvm". Attualmente non ho lvm ("sme spares=0 nolvm") e come ti scrivevo nel msg precedente in effetti la variazione nello spazio occupato c'è, quindi tutto risolto.
Nell'installazione precedente non riuscivo ad accorgermene perchè lanciavo "df -h" che mi restituiva sempre 5.4Tb liberi sia con m=5 che con m=1. Mentre verificando le grandezze con df -m, come giustamente facevi tu, la variazione è visibile, anche se mi sembra inferiore alle aspettative. Non doveva essere visibile la differenza anche con "df -h"? Forse perchè essendo l'utente in uso "root", era già al netto dello spazio riservato...
Comunque va bene anche così.
Grazie.
Antonio.

[Stefano]

Si la macchina è sempre la stessa, ma è stata formattata più volte con opzioni diverse per far delle prove. Ero così disperato che nelle varie combinazioni avevo provato sia con che senza "nolvm". Attualmente non ho lvm ("sme spares=0 nolvm")

mi dispiace contraddirti, ma l'output di "mount" sulla tua macchina dice il contrario

se tu NON avessi lvm avresti /dev/md2 (mi pare, vado a memoria) montato su /, invece ce l'hai su /dev/mapper/main-root

poco male, non penso sia un problema

[antoniocangiano76]

La macchina è la stessa, l'installazione è stata rifatta diverse volte da 0 con e senza l'opzione "nolvm", perciò risulta sia /dev/mapper/main-root (riferito ad un'installazione) che /dev/md2 (riferito ad un'altra).
Antonio