• Serveurs
  • HP Proliant MicroServer gen8 : mauvais debit ecriture disque

Salut,

La petite histoire :
J'ai fais l’acquisition il y a quelques temps d'un serveur HP Proliant MicroServer gen8, dont je suis satisfait dans l'ensemble, mais je rencontre un soucis lors des ecritures sur disque.
L'os installe est Debian Jessie (passage a Stretch prevu dans pas longtemps). L'installation correspond au schema suivant : 4 disques de 6TB en RAID logiciel mdadm (2 types de RAID sur les disques), puis cryptage complet du systeme avec LUKS et ensuite LVM.

Chacun des 4 disques est partitionne comme suit :
- 1GB RAID1 pour le boot
- 500GB RAID1 pour l'OS + LUKS + LVM
- Le reste en RAID5 pour les donnees + LUKS + LVM

Le soucis que je rencontre c'est un faible debit a l'ecriture de donnees sur le(s) disque(s). Tout d'abord j'ai rencontre des lenteurs au niveau du systeme et de la copie des donnees, alors j'ai decide de faire quelques tests avec dd.

Tests d'ecriture sur le RAID1 :

dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 33,0722 s, 31,7 MB/s
dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 36,369 s, 28,8 MB/s

Test d'ecriture sur le RAID5 :

dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 26,6571 s, 39,3 MB/s
dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 46,0864 s, 22,8 MB/s

Je me suis dis qu'il fallait peut etre faire une mise a jour des firmware du serveur, chose faite (pas de nouvelle version du controlleur B120i embarque par contre) .
RAID1 :

dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 35,5971 s, 29,5 MB/s

RAID5 :

dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 enregistrements lus
1000+0 enregistrements écrits
1048576000 octets (1,0 GB) copiés, 62,1861 s, 16,9 MB/s

Je me suis ensuite dis que c'est mon installation (RAID1 + RAID5 sur les memes disques) qui fait que les debits sont pas bons, donc test depuis un live usb pour que les disques ne soient solicites que par dd lors de l'ecriture.
RAID5 :

dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 68.8268 s, 15.2 MB/s

Tout ca est vraiment decevant.

Je suis ensuite tombe sur ce post ou la personne montre avoir egalement de mauvais debit en ecriture en utilisant le controlleur B120i embarque. Suite a l'ajout du controlleur P222 les choses semblent aller mieux (mais ce controlleur coute a lui seul autant que le serveur sans disques).

Les questions :
1) Est-ce que ceux qui ont le meme serveur constatent de faibles debits en ecriture?
2) Si non, comment avait vous installe le serveur (RAID materiel, logiciel, cryptage, lvm, etc)?
3) Est-ce que a votre avis si je rajoute un controlleur PCI-E avec un port mini sas (comme le B120i embarque) je pourrais voir des amelioration en terme de debit en lecture, ecriture? Quid d'un controlleur avec 4 port SATA3 (je peux connecter l'enclosure des disques directement avec des cables SATA classiques)? Je pense notamment a celui-la (mais je sais pas s'il rentre dans ce serveur).
4) Une autre solution afin de pouvoir profiter de meilleurs debits en ecriture et pouvoir profiter pleinement du serveur sans d'enormes iowait du systeme?

Merci a ceux qui auront lu le post jusqu'a la fin et a ceux qui s'y connaissent beaucoup mieux que moi en ce qui concerne le materiel et qui pourront m'aider.

En même temps Chiffrement + Raid 5 voila tu as la réponse.
Perso je suis en Raid 0 et raid 1 je suis a 150Mbs sur chaque grappe
le raid 5 logiciel si tu as pas un proco véloce c'est perfkiller
Si tu veux des bonne perf, il te faut soit changer de raid, soit prendre une carte raid qui gère le raid5 (et ca peux vite couter un bras)

    Merci arckosfr pour ta reponse.
    Je m'en doutais un peu.
    Mais entre temps j'ai decide d'active le "write cache" dans les parametres du BIOS pour le controlleur. Y'a un grand avertissement qui clignote (non c'est pas vrai il clignote pas mais il devrait) qui dit que en cas d'arret brutal du serveur (comme une coupure de courant ou quelqu'un qui tire sur les cables comme un malade), les donnees pourront etre corrompue si le "write cache" est active. J'ai quand meme decide de l'activer et :

    dd if=/dev/zero of=test.data bs=1M count=1000 conv=fdatasync
    1000+0 enregistrements lus
    1000+0 enregistrements écrits
    1048576000 bytes (1,0 GB, 1000 MiB) copied, 10,339 s, 101 MB/s

    Apres, j'ai un onduleur attache au serveur que j'ai teste et il arrete bien le serveur proprement si la batterie atteint un certain niveau.
    Maintenant j'espere juste que l'onduleur fasse bien son travail chaque fois qu'il est necessaire (pas si souvent que ca apres tout, peut etre 2-3 fois par an grand max).

    oui voila.
    Après de toute facon la carte RAID intégré est pas top top, pour moi c'est juste un controlleur SAS ni plus ni moins.
    Mais dans l'ensemble le serveur fait le taff. Mais j'aimerais bien que HP ressorte un nouveau modèle avec des specs un chouilla plus récente

    8 mois plus tard

    Hello, une petite réponse tardive 🙂

    J'ai également essayé pas mal de solution sur le gen8, mais pas de batterie/cache possible sur la b120i intégrée.
    Celle que j'ai retenue et qui fonctionne et l'ajout d'une P410, 2 ports pour 8 disques. assez petite pour rentrer dans la machine et un cout raisonnable (80/100€, idem pour le spare 🙂 )
    Besoin d'une licence pour activer le raid6 mais possible de mettre une licence d'essai de 60 jours et de la remettre quand expiré.

    Je l'ai en version P410/1Go FBWC, cache carte activé, cache disque désactivé.
    Selon la charge je suis entre 40 et 80mo/s, 70mo/s en général. Ce n'est pas la folie, mais cette carte est fiable, ce trouve facilement et à prix correct.

    aujourd'hui j'ai sur cette carte ;
    2 SSD en raid1 (os)
    1 disque seul en raid0
    4 disques en raid 5

    Je pense prochainement basculer le raid 1 sur la b120i (intégré) pour basculer le Raid5 en Raid6 et lui rajouter des disques.

      AquaWide Comment t'as fais pour mettre 5 disques et 2 ssd dans le serveur? Je pensais pas qu'il y ait la place.

        Malakai
        1 SSD au dessus + 1 SSD contre l'alim + un disque 2 1/2 au dessus, avec la batterie de la carte raid c'est plutôt tassé ...

        Après pour faire plus propre ce week-end je vais imprimer un de ces deux support pour mettre les SDD en latéral interne :
        https://www.thingiverse.com/thing:1279920
        https://www.thingiverse.com/thing:2224437

        Pour rajouter 4 disques en 3 1/2, je serais obligé de passer en externe avec un SFF-8087 de minimum 50cm, surement une cage ou 4 rack de ce genre :
        https://www.thingiverse.com/thing:2762129 (mais 25 heures d'impression pour un seul rack)
        Ou de ce type : https://www.thingiverse.com/thing:2120347

        Répondre…