Accélérer le rebuild/resync d’un volume RAID mdadm

Ça fait plusieurs fois que je tombe sur des articles de blogs qui détaillent que la reconstruction de leur miroir MDADM (RAID1) est trèèèès lente à cause d’un paramètre système dans /proc :
/proc/sys/dev/raid/speed_limit_min

Par défaut sous Linux (ou au moins la plupart des distribs que je côtoie), ce paramètre « min » est fixé à 1000, soit grossièrement 1Mo par seconde, ce qui est effectivement très lent, à l’heure des disques grand public de 6 To (ou 8? ou 10, je ne suis pas sûr d’être à jour).

Personnellement, je n’ai jamais été bloqué par ce paramètre comme ces personnes, au moins sur les distributions récentes (tout est relatif, en 2015 je parle de 2012 et +). Il s’agissait peut être d’un bug fixé depuis, qui sait?

Par contre, là où j’ai été effectivement bloqué, c’est plutôt par la variable /proc/sys/dev/raid/speed_limit_max.

cat /proc/mdstat
   md1 : active raid1 sdc[0] sdd[1]
   336592832 blocks [2/2] [UU]
   [===========>.........] resync = 59.4% (199958272/336592832) finish=11.3min speed=200006K/sec

Quoi, mes disques resync à 200006K/sec? Comment dire ? C’est louche !

En effet, cette valeur est fixée par défaut à 200000, soit 200 Mo/s. Ça peut paraitre assez haut pour du RAID à la maison, mais sur du matériel d’entreprise, je n’ai pas eu de mal à atteindre cette limite.

cat /proc/sys/dev/raid/speed_limit_min
   1000
cat /proc/sys/dev/raid/speed_limit_max
   200000
echo 500000 > /proc/sys/dev/raid/speed_limit_max

cat /proc/mdstat
   md1 : active raid1 sdc[0] sdd[1]
   336592832 blocks [2/2] [UU]
   [===============>.....] resync = 76.4% (257424960/336592832) finish=2.6min speed=505767K/sec

« And voila »

Publicités
Accélérer le rebuild/resync d’un volume RAID mdadm

IRL : RedHat virtualisé et haute dispo, RHCS+VMDK partagés vs vSphere Replication

Contexte

Dans un contexte professionnel, il arrive que des décisions soient prises et qu’il faille s’y tenir coute que coute. Même si on se rend compte plus tard que ce n’était pas forcément le chemin le plus facile. La facilité, c’est le côté obscur, on le sait bien ;-).

Pour un client, on m’a donc demandé de concevoir une plateforme RedHat 5.X virtualisée hautement disponible, avec une durée d’interruption de service maximale de 30 minutes en toute circonstance (jusque là tout va bien), ET la possibilité de restaurer les disques des OS virtuels avec plusieurs points de restaurations par palliers de 30 minutes (RPO/RTO). Aie!

Tel le Mac Giver des temps modernes, je dispose des outils suivants pour y parvenir :

  • 1 licence vSphere Essential Plus
  • 2 serveurs physiques, installés en ESXi 5.5 et reliés en SAN
  • 2 baies de disques EMC² VNX5200
  • 2 souscriptions RedHat Datacenter – pour disposer d’autant de VMs RHEL qu’on le souhaite sur nos deux nœuds physiques
  • 2 souscriptions RedHat High Availability (anciennement RedHat Cluster Suite) en mode Datacenter – pour disposer d’autant de clusters RedHat qu’on le souhaite sur nos deux nœuds physiques

Lire la suite « IRL : RedHat virtualisé et haute dispo, RHCS+VMDK partagés vs vSphere Replication »

IRL : RedHat virtualisé et haute dispo, RHCS+VMDK partagés vs vSphere Replication

Migration, jonglage de disques avec MDADM : grow/reduce/grow d’un miroir à 2 puis 3 puis 2 pattes

Dans le cadre d’une migration de ma plateforme de virtualisation de Xubuntu (shame) vers CentOS (j’en parlerai dans un prochain article), j’ai été amené à me faire des nœuds aux cerveaux pour trouver comment passer de manière sure d’un disque de 1 To contenant des données, des VMs et mon Xubuntu vers un CentOS avec deux disques en miroirs de 1 To, et en ne disposant que d’un spare de 400Go.

J’aurai pu installer l’OS par dessus l’Ubuntu mais je préfère repartir from scratch, et je voulais éviter de transférer les VMs sur le disque de 400Go car je n’étais pas très sur de sa fiabilité.

A noter que dans un cas plus simple que le mien, mdadm permet de passer d’un système sans redondance vers un RAID (very pratique, j’aurai fais ça si jamais je n’avais pas eu la migration d’OS à faire), ou si vos disques ont la taille suffisante, de remplacer online le disque.

Lire la suite « Migration, jonglage de disques avec MDADM : grow/reduce/grow d’un miroir à 2 puis 3 puis 2 pattes »

Migration, jonglage de disques avec MDADM : grow/reduce/grow d’un miroir à 2 puis 3 puis 2 pattes