Forum Archive-Host

Vous n'êtes pas identifié.

#1 09-11-2017 08:43:18

Cristal
Administrateur
Lieu: Dijon
Date d'inscription: 24-09-2006
Messages: 5072
Site web

Incident d'accès sur les services

Bonjour,

Un problème de routage entre les datacentres impacte actuellement l'accès à l'ensemble de nos services depuis 8h06.
Notre prestataire technique est actuellement penché sur le problème.

Nous n'avons pas beaucoup d'informations complémentaires, vu qu'à côté il y a problème majeur d'alimentation électrique d'un datacentre à Strasbourg depuis 7h06 ce matin.

Le soucis de notre côté est lié à notre serveur DNS primaire qui ne peut plus communiquer avec l'extérieur, et ne peux également répondre sur la localisation du serveur DNS secondaire.
Nous avions déjà pris la précaution de les mettre dans des lieux différents, nous prévoyons de les migrer sur un réseau tiers.

Merci de votre compréhension.


Cristal
Directeur d'Archive-Host

État du Reseau

Hors ligne

 

#2 09-11-2017 11:06:49

Cristal
Administrateur
Lieu: Dijon
Date d'inscription: 24-09-2006
Messages: 5072
Site web

Re: Incident d'accès sur les services

L'ensemble des services est à nouveau accessible depuis 10h30 environ.
Nous relançons les quelques services internes qui ont pu être coupés.

Il y avait en plus un problème de routage généralisé sur une partie de l'Europe, donc même certains serveurs n'étaient plus joignables du tout depuis l'extérieur.

Nous regardons la suite du processus avec le prestataire.

C'est un événement exceptionnel qui fait partie de la très courte liste des incidents qu'à pu rencontrer Archive-Host depuis 11 ans d'existence, et nous vous présentons toutes nos excuses.
La loi de Murphy est malheureusement très souvent vérifiable.


Cristal
Directeur d'Archive-Host

État du Reseau

Hors ligne

 

#3 09-11-2017 11:15:24

Cristal
Administrateur
Lieu: Dijon
Date d'inscription: 24-09-2006
Messages: 5072
Site web

Re: Incident d'accès sur les services

Pour plus d'informations, voir ce fil Twitter :
https://twitter.com/olesovhcom


Nous avons un souci d'alimentation de SBG1/SBG4. Les 2 arrivées électriques EDF sont down (!!) et les 2 chaines de groupes électrogènes se sont mis en défaut (!!!). L’ensemble de 4 arrivées elec n'alimentent plus la salle de routage. Nous sommes tous sur le problème.

En plus de souci sur SBG, nous avons le souci sur le réseau optique en Europe qui interconnecte RBX et GRA avec les POP. Il est down (!!).

SBG: ERDF is trying to find out the default. 2 separated 20kV lines are down. We are trying to restart 2 generators A+B for SBG1/SG4. 2 others generators A+B work in SBG2. 1 routing room is in SBG1, the second in SBG2. Both are down. #Murphy

RBX: all optical links 100G from RBX to TH2, GSW, LDN, BRU, FRA, AMS are down.

SBG: 2 routing rooms are UP powered by gen. EDRF still down. ETA: 15min
RBX: the DB of the optical node in RBX is corrupted. All links are still down. We upload the backup. ETA: 30min

RBX: restore of the setup in progress

RBX: the links are coming UP.

RBX: UP
SBG: in progress

SBG: ERDF repared 1 line 20KV. the second is still down. All Gens are UP. 2 routing rooms coming UP. SBG2 will be UP in 15-20min (boot time). SBG1/SBG4: 1h-2h


Cristal
Directeur d'Archive-Host

État du Reseau

Hors ligne

 

#4 09-11-2017 16:24:55

Cristal
Administrateur
Lieu: Dijon
Date d'inscription: 24-09-2006
Messages: 5072
Site web

Re: Incident d'accès sur les services

Concernant le soucis du réseau (celui qui a impacté l'accès aux services d'Archive-Host), plus de détails :
http://travaux.ovh.net/?do=details&id=28244

Bonjour,
Ce matin, nous avons eu un incident sur le réseau optique qui interconnecte notre site de Roubaix (RBX) avec 6 des 33 points de présence (POP) de notre réseau : Paris (TH2 et GSW), Francfort (FRA), Amsterdam (AMS), London (LDN), Bruxelles (BRU).

Le site RBX est connecté à travers 6 fibres optiques à ces 6 POP : 2x RBX<>BRU, 2x RBX<>LDN, 2x RBX<>Paris (1x RBX<>TH2 et 1x RBX<>GSW). Ces 6 fibres optiques sont connectées aux systèmes de nœuds optiques qui permettent d’avoir 80 longueurs d’onde de 100Gbps sur chaque fibre optique.

Pour chaque 100G connectés aux routeurs, nous utilisons 2 chemins optiques qui sont géographiquement distincts. En cas de coupure de fibre optique, le fameux « coup de pelleteuse », le système se reconfigure en 50ms et tous les liens restent UP. Pour connecter RBX aux POP, nous avons 4.4Tbps de capacité, 44x100G : 12x 100G vers Paris, 8x100G vers London, 2x100G vers Bruxelles, 8x100G vers Amsterdam, 10x100G vers Frankfurt, 2x100G vers DC GRA et 2x100G vers DC SBG.

A 8h01, d’un coup, l’ensemble des liens 100G, les 44x 100G, ont été perdus. Étant donné le système de redondance que nous avons mis en place, l’origine du problème ne pouvait pas être la coupure physique de 6 fibres optiques simultanément. Nous n’avons pas pu faire les diagnostiques sur les châssis à distance car les interfaces de management étaient figées. Nous avons été obligés d’intervenir directement dans les salles de routage, pour faire les manipulations sur les châssis : déconnecter les câbles entre les châssis puis faire redémarrer le système et enfin seulement faire les diagnostiques avec l’équipementier. Les tentatives de redémarrage du système ont pris beaucoup de temps, car chaque châssis a besoin de 10 à 12 minutes pour démarrer. C’est la principale raison de la durée de l’incident.

Le diagnostique : Toutes les cartes transpondeurs que nous utilisons, ncs2k-400g-lk9, ncs2k-200g-cklc, sont passées en état « standby ». L’une des origines possible d’un tel état est la perte de configuration. Nous avons donc récupéré le backup et remis en place la configuration, ce qui a permis au système de reconfigurer toutes les cartes transpondeurs. Les 100G dans les routeurs sont revenus naturellement et la connexion de RBX vers les 6 POP a été rétablie à 10h34.

Il s’agit clairement d’un bug software sur les équipements optiques. La base de données avec la configuration est enregistrée 3 fois et copiée sur 2 cartes de supervision. Malgré toutes ces sécurités, la base a disparu. Nous allons travailler avec l’équipementier pour trouver l’origine du problème et les aider à fixer le bug. Nous ne remettons pas en cause la confiance avec l’équipementier, même si ce type de bug est particulièrement critique. L’uptime est une question de design qui prend en compte tous les cas de figure, y compris quand plus rien ne marche. Le mode parano chez Ovh doit être poussé encore plus loin dans l’ensemble de nos designs.

Les bugs ça peut exister, les incidents qui impactent nos clients non. Il y a forcement une erreur chez Ovh puisque malgré tous les investissements dans le réseau, dans les fibres, dans les technologies, nous venons d’avoir 2 heures de downtime sur l’ensemble de nos infrastructures à Roubaix.

L’une des solutions est de créer 2 systèmes de nœuds optiques au lieu d’un seul. 2 systèmes, cela veut dire 2 bases de données et donc en cas de perte de la configuration, un seul système est en panne. Si 50% des liens passent par l’un des systèmes, aujourd’hui, nous aurions perdu 50% de la capacité mais pas 100% de liens. C’est l’un des projets que nous avons commencé il y a 1 mois, les châssis ont été commandés et nous allons les recevoir dans les prochains jours. Nous pourrons commencer les travaux de configuration et migration sous 2 semaines. Vu l’incident d’aujourd’hui, ce projet devient prioritaire, pour l’ensemble de nos infrastructures, tous les DCs, tous les POPs.

Dans le métier de fournisseur des infrastructures Cloud, seul ceux qui sont paranos durent. La qualité de service est une conséquence de 2 éléments. Tous les incidents anticipés « by design ». Et les incidents où nous avons appris de nos erreurs. Cet incident là nous amène à mettre la barre encore plus haut pour s’approcher du risque zéro.

Nous sommes sincèrement désolés pour les 2H33 minutes de downtime sur le site RBX. Dans les prochains jours, les clients impactés vont recevoir un email pour déclencher l’application des engagements SLA.


Cristal
Directeur d'Archive-Host

État du Reseau

Hors ligne

 

#5 09-11-2017 20:35:48

le_courlis
Membre
Date d'inscription: 01-09-2015
Messages: 84

Re: Incident d'accès sur les services

Bonjour,

merci pour le suivi d'incident. Passé la première inquiétude ce matin, j'ai su d'où venait le problème. Il ne restait plus qu'à patienter. Sûrement une longue journée pour vous, sans parler d'OVH.

Me demandant quel moyen vous aviez de publier une info en dehors de vos propres serveurs, je réalise que je ne pense jamais à Twitter. Mais vous semblez ne pas trop utiliser ce canal.

Hors ligne

 

Pied de page des forums

Propulsé par FluxBB
Traduction par FluxBB.fr