Accélérer le rebuild/resync d’un volume RAID mdadm

Ça fait plusieurs fois que je tombe sur des articles de blogs qui détaillent que la reconstruction de leur miroir MDADM (RAID1) est trèèèès lente à cause d’un paramètre système dans /proc :
/proc/sys/dev/raid/speed_limit_min

Par défaut sous Linux (ou au moins la plupart des distribs que je côtoie), ce paramètre « min » est fixé à 1000, soit grossièrement 1Mo par seconde, ce qui est effectivement très lent, à l’heure des disques grand public de 6 To (ou 8? ou 10, je ne suis pas sûr d’être à jour).

Personnellement, je n’ai jamais été bloqué par ce paramètre comme ces personnes, au moins sur les distributions récentes (tout est relatif, en 2015 je parle de 2012 et +). Il s’agissait peut être d’un bug fixé depuis, qui sait?

Par contre, là où j’ai été effectivement bloqué, c’est plutôt par la variable /proc/sys/dev/raid/speed_limit_max.

cat /proc/mdstat
   md1 : active raid1 sdc[0] sdd[1]
   336592832 blocks [2/2] [UU]
   [===========>.........] resync = 59.4% (199958272/336592832) finish=11.3min speed=200006K/sec

Quoi, mes disques resync à 200006K/sec? Comment dire ? C’est louche !

En effet, cette valeur est fixée par défaut à 200000, soit 200 Mo/s. Ça peut paraitre assez haut pour du RAID à la maison, mais sur du matériel d’entreprise, je n’ai pas eu de mal à atteindre cette limite.

cat /proc/sys/dev/raid/speed_limit_min
   1000
cat /proc/sys/dev/raid/speed_limit_max
   200000
echo 500000 > /proc/sys/dev/raid/speed_limit_max

cat /proc/mdstat
   md1 : active raid1 sdc[0] sdd[1]
   336592832 blocks [2/2] [UU]
   [===============>.....] resync = 76.4% (257424960/336592832) finish=2.6min speed=505767K/sec

« And voila »

Publicités
Accélérer le rebuild/resync d’un volume RAID mdadm

Fusionner/Merge plusieurs CSV dans un unique XLS, en ligne de commande

En voulant créer mes propres rapports à partir de mes bases MySQL NDO (nagios), je me suis retrouvé avec un problème : comment consolider les données de manière à avoir un rapport clair.

Comme il ne s’agissait pas de valeurs chiffrées à intégrer à des graphiques, je suis parti dans l’idée de consolider mes différents rapports dans un fichier MS Excel, notamment pour pouvoir trier les données dans les onglets séparés (les rapports traitent de sujets différents que l’on ne peut regrouper dans une seule et même vue).

Je me suis vite rendu compte que ce n’était pas aussi facile que cela !

Lire la suite « Fusionner/Merge plusieurs CSV dans un unique XLS, en ligne de commande »

Fusionner/Merge plusieurs CSV dans un unique XLS, en ligne de commande

Supprimer un fichier ou un dossier dans lequel il y a un caractère spécial

Combien de fois avez vous tapé trop vite une commande créant un fichier ou un dossier, et que vous avez oublié comment le supprimer? C’est de moins en moins vrai aujourd’hui, car le shells récents vous aident avec l’autocomplétion, et les binaires vous donnent la solution. Mais dans le cas où vous seriez sur un système qui date un peu, voici un petit reminder écrit par UnixTutorial pour s’en sortir 😉

http://www.unixtutorial.org/2008/09/remove-files-and-directories-with-special-characters/

Supprimer un fichier ou un dossier dans lequel il y a un caractère spécial

Lire du VMFS en Java, ou comment récupérer des VMs stockées dans un serveur Kapout

Qui n’a jamais rêvé de disposer d’un outil vous permettant de lire du VMFS, cet obscur file system qui ne semble être supporté que par ESX et ESXi? Peut être que ce genre de problématiques ne concerne pas grand monde, tout compte fait 😉

Mais pour ceux qui se sentent concernés, voici un petit lien vous conduisant sur un projet Java contenant un « driver » pour lire le VMFS (v3). Je ne l’ai pas testé sous tous les systèmes qui font tourner Java (100% des OS un peu récents?) bien entendu, mais ça a plutôt l’air de bien marcher (au moins sous Linux et Windows 7, avec un JRE à jour).

Comme indiqué sur le site, la version r95 du driver permet de naviguer dans l’arborescence, d’afficher les fichiers et les dossiers (récursivement ou non), d’afficher des informations sur un fichier précis, et de copier un fichier vers le disque local. Et en bonus track, il est également capable de s’interfacer avec un serveur WebDav qui permet d’explorer et/ou carrément de monter le disque sur certains OS (non testé, je n’y connais rien en WebDav)

The VMFS volume can then be browsed using any HTTP browser, or it can be mounted as a file system on many operating systems.

Lire la suite « Lire du VMFS en Java, ou comment récupérer des VMs stockées dans un serveur Kapout »

Lire du VMFS en Java, ou comment récupérer des VMs stockées dans un serveur Kapout