Bonjour,

Total Downtime: 557h36m27s 😅

Voilà déjà une semaine que mondedie.fr est revenu. Cependant je vous fais un retour seulement maintenant puisque nous n'avions pas fini la réinstallation jusqu'ici. 🙂

Tout commence le 26 août lorsque @Hardware a réalisé une maintenance de mondedie.fr.
Lors d'un contrôle de routine des disques, il a perdu l'accès ssh des 3 instances. Impossible pour moi et les autres admins d'accéder de nouveau en ssh.

ssh user@mondedie.fr
/bin/bash: Permission denied

ce moment-là, ils nous aient tous impossible de nous connecter aux serveurs. Nous décidons avec la rentrée qui approchait d'attendre un peu avant de commencer la réinstallation. En gros tant que mondedie.fr fonctionne, on touche à rien 😂
⚠ Petit détail qui a son importance, depuis le 26 août notre script de backup ne fonctionnait plus du tout.

Jusqu'au 6 septembre tout allait bien entre guillemets, jusqu'au moment où l'instance qui gère le serveur web a planté. Impossible de la redémarrer, elle partait en kernel panic d'après ikoula. Le support nous conseille finalement le 11 septembre d'utiliser le mode rescue pour, soit récupérer nos données, soit tenter de réparer le système.

Le mode rescue chez ikoula est un peu particulier, il faut attacher un iso (livecd de récupération) et attendre que le support change l'ordre de boot pour pouvoir utiliser le livecd.

Nous n'avons même pas tenté de réparer les instances, on a décidé en interne de tout réinstaller et de simplifier l'infrastructure. De passer de 3 instances à 2 plus grosses instances.

Ensuite, avec le manque de documentation j'ai un peu tâtonné pour pouvoir monter nos partitions sur le livecd. Voici comment j'ai fais : https://mondedie.fr/d/10432-monter-une-partition-lvm-depuis-le-mode-rescue
J'ai répété cela pour les 2 autres instances et j'ai fini par faire les backups des 3 instances le 22 septembre.
Je vous épargne les détails des instances qui ne voulaient pas redémarrer sur le livecd etc.

A partir de ce moment là, j'ai pu commencer à installer la nouvelle infrastructure avec seulement 2 instances (le but est de réduire pour nous le temps de maintenance).

Une semaine plus tard, j'avais remis le plus gros de l'infrastructure en état de fonctionner. Après 557h d'indisponibilité soit 23j.

Nous n'avons perdu aucune donnée.

Au nom de toute l'équipe de mondedie.fr on s'excuse pour le désagrément.
On veut aussi remercier ikoula.com @Ikoula pour tout le soutien qu'ils nous fournissent.

L'équipe de mondedie.fr

    Magicalex Merci en tout cas de toute l énergie que tu as déployé pour la remise en activité de mondedie.

    On ne se rend compte de ce qui nous manque qu une fois qu on l a plus😋

      Magicalex Le mode rescue chez ikoula est un peu particulier, il faut attacher un iso (livecd de récupération) et attendre que le support change l'ordre de boot pour pouvoir utiliser le livecd.

      En réponse à vos péripéties nous avons légèrement modifié le fonctionnement du mode rescue pour qu'il ne soit plus nécessaire de contacter le support 😀 et nous avons mit en place la documentation suivante :
      https://fr-wiki.ikoula.com/fr/Comment_d%C3%A9marrer_votre_instance_en_mode_rescue#Proc.C3.A9dure

          Ça c'est un support réactif ! 🙂 Vous avez vos entrées chez d'autres hébergeurs "plus gros" ? Histoire de passer des messages subliminaux... ^^'

            Félicitations pour le travail accompli et le rétablissement des services.
            Merci

            Ikoula Vous êtes au top 😉 On va pouvoir planter toutes nos instances dans la sérénité maintenant 😂

            Peut-être faire une référence dans le wiki à la partition lvm cf mon tuto, moi j'avais pas compris dans un premier temps pourquoi un simple mount ne fonctionnait pas. Faut dire que ma seule expérience avec un mode rescue auparavant c'était avec un serveur dédié.

                Par contre, il n'y a personne qui voudrait nous expliquer légèrement sur quoi reposent ces instances ? Concrètement (à cet instant) non il n'y a rien. En outre, j'imagine que cela pourrait nous servir.
                Vous avez procéder à des changements en particulier ? Sinon un rappel sera le bienvenu (infrastructure ?).

                @Aerya [...] des messages subliminaux... '

                Par le plus grand des hasard, cela concerne OneProvider ? MDR

                  Wagner les instances reposent sur la solution cloudstack https://cloudstack.apache.org/ après pour les détails je suis pas très au faite, @Ikoula pourra peut-être nous donner plus de détails.

                  Sinon pour l'infrastructure tu peux reprendre le schéma de @Hardware sauf que maintenant il n'y a plus que 2 vm/instances. J'ai fusionné la vm bdd avec la vm mail pour simplifier la maintenance.

                  schéma infrastructure

                      Aerya Ça c'est un support réactif !

                      "réactivité" c'est notre 2e prénom 😉

                        Magicalex On va pouvoir planter toutes nos instances dans la sérénité maintenant 😂

                        Haha 😃

                          Magicalex je suis pas très au faite, @Ikoula pourra peut-être nous donner plus de détails.

                          Mondédié est hébergé sur notre service Cloud Public pour des raisons de confidentialité je ne peux malheureusement pas rentrer dans le détail. Par contre si @Wagner tu veux plus d'informations n'hésites pas à nous contacter nous répondrons volontiers à tes questions.

                            Sans entrer dans les détails on peut dire que l'offre Cloud Public de Ikoula est un IaaS (Infrastructure as a service), avec une interface (Apache CloudStack) permettant de gérer son réseau virtuel (Pare-feu, load-balancer, instances, volumes...etc), en envoyant des ordre à un hyperviseur (XenServer). je pense que c'est bien résumé 😃

                            Cette image décrit les types de Cloud les plus communs, nous on se trouve dans la seconde colonne, où c'est Cloudstack qui s'occupe de la partie virtualisation/stockage/réseau. De notre côté, on lui dit ce qu'on veut côté réseau/stockage et Cloudstack exécute tout ce qui est nécessaire auprès de l'hyperviseur Xen.

                            Une offre comme celle de Heroku, où on gère que la pile applicative, c'est plutôt du PaaS. Et quand on donne un service clé en main sans avoir à rien faire côté backend, c'est du SaaS.

                            J'espère que c'est plus clair.

                            Répondre…