Etat des services de Marsnet

Les services réseau livrés sur le datacenter de Lost Oasis qui héberge le serveur mutualisé de Marsnet à Marseille ont connu une importante perturbation ce matin de 7h38 à 9h18.
Par conséquent les services mutualisés d'hébergement (sites, mails, listes,..) ont été fortement perturbés pendant ce temps.

Les services mutualisés ont été rétablis lundi 10 décembre 2012 vers 11 heures.

L'origine du problème est probablement du au piratage d'une vielle application d'un des membres.
Cependant il est rare que cela engendre l’arrêt total de la machine. Par ailleurs, nous n'avons simplement pas eu les moyens de relancer la machine pendant le week-end : pas d’accès à distance ni à la salle blanche (l'endroit ou est la machine).

Nous avons donc connu l'interruption des services la plus longue en 8 ans ! Mais la disponibilité des services reste toujours supérieure à 99 %.

L’équipe technique est sincèrement désolé pour cette gène, et met tout en œuvre pour qu'un tel incident se reproduise plus.

Suite à cette panne, vous devriez recevoir tous les messages petit à petit.
Il est cependant possible que vous ne receviez pas quelques messages, selon la configuration du serveur de l’expéditeur, dans ce cas votre expéditeur en est averti.

Explications : En fonction de la configuration du serveur de l'expéditeur, plusieurs tentatives d’envois sont faites pendant au moins 1 jour (en général plusieurs jours - 5 jours chez marsnet) et si l'envoie n’abouti pas un message d'erreur est retourné à l'expéditeur (MAILER-DAEMON) .
Le cas de non réception de message au bout de 2 jours de coupure de services est possible, mais rare et dans tout les cas votre expéditeur est averti que son message n'a pas abouti.

◄●► La migration s’est bien passée, pensez à changer les DNS de vos domaines ◄●►

Afin d’améliorer vos services, une opération de maintenance a été effectuée le mardi 23 et mercredi 24 . il s’agit du renouvellement du matériel sur une partie de l’infrastructure (serveur mutualisé).

MAJ Jeudi 25 4h30 : les tests sont ok, le nouveau serveur est très rapide :-),

Si vous rencontrez des difficultés :

1. avez vous bien changé les DNS de vos domaines ? comme indiqué sur les précédents mails et ci-dessous ? si nous n'avons pas accès au réglage de vos domaines et surtout si vous n'utilisez pas nos services DNS, vous devrez changer l'adresse du serveur web/mail/etc. => voir indication ci-dessous
2. Sur les applications qui n'ont pas été mise à jour depuis longtemps et qui fonctionnent avec du php4 périmé depuis des années ou qui ne sont pas compatible avec php5.3, il peut y avoir un Message d'erreur (Internal Server Error) ou certaines perturbations dans les fonctionnalités => solution : mettre à jour ses applications
3. il est possible que certains services fonctionnent par intermittence provisoirement ceci est du à la propagation des nouveaux DNS (1) (changement de l'adresse du serveur) et se résoudra progressivement dans la journée.=> résolu
4. Accès au mail et compte alternC ; si vous rencontrez des difficultés (provisoires) alors faites directement https://mail.marsnet.org/webmail pour le mail et https://marsuper.marsnet.org / pour le bureau alternC-- résolu
5. les difficultés sur l'interface web des listes sont en cours de résolution. résolu

Merci de faire des tests de vos services et nous signaler les éventuels réglages restant à faire

MAJ Jeu 25 2h24 : les principaux services sont ok, tests
MAJ Mer 24 23h47 : test et réglages des services
MAJ Mer 24 18h38 : fin de la migration = > phase de test et réglages
MAJ Mer 24 14h35 : ça va couper dans qq minutes
Mercredi 24 octobre, suite et fin de la migration, coupure de quelques heures en début d’après-midi, perturbations en soirée
Mardi 23 octobre, notre équipe a assuré la disponibilité des services, aucune perturbation n'a été constatée malgré les modifications techniques.

◄●►IMPORTANT une intervention de votre part est nécessaire ◄●► pour modification des DNS de vos domaines hébergés chez marsnet (changement de serveur) :

Voici les nouveaux DNS (changement en gras)

• primaire : mars.assodev.org 212.85.154.16
• secondaire : ns2.assodev.org 80.67.172.93

Merci de changer les DNS de vos domaines hébergés à marsnet :

1. vous avez un sous domaine monasso.marsnet.org => vous n'avez rien a faire
2. vous avez un domaine chez gandi avec notre identifiant FD201-GANDI => vous n'avez rien a faire
3. Vos domaines et leurs DNS sont hébérgés sur marsnet => Le DNS secondaire est à changer mettez ns2.assodev.org à la place de karl.globenet.org chez le registrar de votre nom de domaines
4. Les DNS de vos domaines sont hébergés ailleurs

Le DNS primaire reste mars.assodev.org mais son IP devient 212.85.154.16
Le DNS secondaire est maintenant ns2.assodev.org 80.67.172.93 à la place de karl.globenet.org 81.93.247.140
L'adresse de la machine d'hébergement mutualisé change de 80.67.172.90 à 212.85.154.16.

Si vous avez un nom de domaine chez Gandi, nous vous conseillons de mettre notre compte (FD201-GANDI) en contact technique, et de nous le signaler, afin de nous permettre d'effectuer les réglages pour vous directement.
allez sur le compte de votre registrar dns (gandi)c => https://www.gandi.net/ demandez a ceux qui ont créé le compte l'identifiant (login) et mot de passe et cliquer sur "s'identifier"
sélectionner votre domaine et à contact technique cliquez sur "modifier" et mettre notre identifiant FD201-GANDI
puis, prévenez nous, nous pourrons alors faire les réglages sur votre compte

Guide pour changer les DNS :

• sur Gandi http://wiki.gandi.net/fr/dns/change
• sur OVH http://guides.ovh.com/NouveauxServeursDns

Les certificats de sécurité de tous les services ont changés, acceptez le nouveau certificat voir : http://wiki.marsnet.org/wakka.php ?wiki=CertificatsSSL

Nous vous recommandons pendant ce temps de maintenance de ne pas faire d'opérations sur vos services ou de modifications de vos applications internet
Pour toute question technique écrire à support⊕marsnet.org ou dialoguez avec nous en direct sur http://dialoguer.marsnet.fr (disponibles même pendant les coupures).

Si vous ne comprenez pas ces informations ou que vous ne savez pas comment faire, veuillez entrer en contact avec nous rapidement (support⊕marsnet.org ou http://dialoguer.marsnet.org)

(1) le temps que tout les serveurs par lesquels transitent les mails prennent en compte les modification de DNS (adresse du serveur),

Il se peut que vous rencontriez des messages d'alerte parlant de certificat de sécurité (ou d’authentification) en visitant une page sécurisée de marsnet (https - avec un s à la fin de http) ou en récupérant vos mails,
Pour voir la page, il suffit d'accepter le nouveau certificat (continuer, je prends des risques, ajouter une exception, ...

En savoir plus : http://wiki.marsnet.org/wakka.php?wiki=CertificatsSSL

Toute l'équipe d'Assodev-Marsnet est mobilisée pour résoudre ce problème dans les meilleurs délais.

Nous avons identifié le problème et les services seront rétablit d'ici 1 heure environ.

le 09 : 16h - 17h et 19h - 20h Perturbations des services : augmentation très importante du trafic (100 fois plus), ralentissant les accès aux sites et services..
Le 10 : 16h40-19h15 : à nouveau Perturbations (ralentissements et quelques coupures )
Les équipes techniques sont mobilisées pour trouver l'origine de ces perturbations tout à fait inhabituels.
Il semble qu'il s'agisse probablement d'une attaque ddos (Attaque par déni de service), ou d'un piratage d'un site hébergé à travers une faille de sécurité d'une application web
https://www.gitoyen.net/mrtg/globenet-traffic.html

MAJ 11 janv : L'origine des perturbations à été identifiée :
Il y avait une faille de sécurité sur une vieille version de Joomla (logiciel de site internet) utilisée par un hébergé. Le responsable du compte n'ayant pas mis à jour récemment ce logiciel, cette faille était donc exploitable sur le site de l'hébergé. Cette faille à été utilisée par des personnes malveillantes pour des attaques en masse d'autres serveurs. Cela a surchargé notre serveur, entrainant des perturbation de services.

Les services de Marsnet ne sont plus accessibles depuis 14h50.
Il ne s'agit pas d'un problème sur nos serveurs, mais au niveau de nos partenaires techniques. Il s'agit probablement d'un problème de réseau.
Les équipes d'Assodev-Marsnet et de Globenet, sont mobilisées pour rétablir les services dans les meilleurs délais.
MAJ 1h50 : le problème viens de la liaison Paris-Marseille
MAJ 24 juin 11h50 : l'équipe Globenet / Gitoyen s'est mobilisé hier jusqu'à 3h30 du matin et a repris ce matin avec l'équipe du Data Center a Marseille (Lost Oasis).
MAJ 11h58 : les services sont rétablis - il s'agissait d'une défaillance du câblage dans la salle des machines de notre Data Center Lost Oasis.
Nous remercions toutes les personnes qui se sont investies pour solutionner ce problème.

La défaillance de câblage est un problème statistiquement extrêmement rare et qui peut arriver dans n'importe quel Data Center. Ce problème est très difficile à détecter, car du fait de sa rareté, il est préférable d'étudier d'abord toutes les autres causes possibles, logicielles puis matérielles, puis une fois ces causes éliminées, il faut vérifier tout les câblages qui sont très nombreux, ce qui est long et pénible.
Sans compter la recherche de l'origine du problème : Paris ? Marseille ? Globenet / Gitoyen ? Lost Oasis ? et la mobilisation des équipes correspondantes.
C'est l'interruption de services la plus longue depuis la création de Marsnet, il y a 7 ans.

Une opération de maintenance par notre partenaire Globenet est prévue ce soir vers 23h.
Elle aura pour conséquence quelques redémarrages et donc quelques brèves coupures de services.
**MAJ** Il n'y a eu que 2 à 3 minutes de perturbations.

Afin d'améliorer les services, nous allons intervenir sur les serveurs (rajout de mémoire entre autres).
Nous vous informons de possibles perturbations des services ce jeudi 27 janvier en fin d'après-midi.

Une coupure totale des services d'une quinzaine de minutes aura probablement lieu vers 18h30-19h.
MAJ 20h : l'intervention s'est très bien passée. Il y a eu entre 18h30 et 19h30 3 coupures dont la plus longue de 10 minutes.

16h15 : Les services ne sont plus accessibles momentanément
16h25 : Le problème vient de notre opérateur "Gitoyen" (routeurs).
16h35 : Les services sont à nouveau fonctionnels
Cet incident a eu pour conséquence l'indisponibilité des services pendant une vingtaine de minutes (de 16h15 à 16h35).