Facebook is de huidige AOL Watch Now
Het oude gezegde voor het oplossen van problemen met het netwerk is, als er iets misgaat, “Het is DNS.” Deze keer lijkt Domain Name Server (DNS) het symptoom te zijn van de hoofdoorzaak van de algemene Facebook-fout. De echte oorzaak is dat er geen werkende Border Gateway Protocol (BGP)-routes naar de sites van Facebook zijn.
BGP is het gestandaardiseerde externe gateway-protocol dat wordt gebruikt om routerings- en bereikbaarheidsinformatie uit te wisselen tussen de autonome internetsystemen op het hoogste niveau (AS). De meeste mensen, inderdaad de meeste netwerkbeheerders, hebben nooit met BGP te maken.
Veel mensen zagen dat Facebook niet langer op DNS vermeld stond. Er waren inderdaad grappen die u het Facebook.com-domein boden.
Ook: Facebook is de AOL van 2021
Cloudflare VP Dane Knecht was de eerste die het onderliggende BGP-probleem rapporteerde. Dit betekende, zoals Kevin Beaumont, voormalig hoofd van het Security Operations Center van Microsoft, tweette: “Door geen BGP-aankondigingen voor uw DNS-naamservers te hebben, valt DNS uit elkaar = niemand kan u op internet vinden. Hetzelfde met WhatsApp trouwens. Facebook is in feite gedeplatformeerd zelf vanaf hun eigen platform.”
Oeps.
Hoe vervelend dit voor jou ook is, het kan voor Facebook-medewerkers nog vervelender zijn. Er zijn berichten dat Facebook-medewerkers hun gebouwen niet kunnen betreden omdat hun “slimme” badges en deuren ook uitgeschakeld waren door deze netwerkstoring. Als dat waar is, kunnen de mensen van Facebook het gebouw letterlijk niet binnen om dingen te repareren.
In de tussentijd meldde Reddit-gebruiker u/ramenporn, die beweerde een Facebook-medewerker te zijn die bezig was het sociale netwerk uit de dood te halen, voordat hij zijn account en zijn berichten verwijderde, dat “DNS voor FB-services is aangetast en dit is waarschijnlijk een symptoom van het werkelijke probleem, en dat is dat BGP-peering met Facebook-peeringrouters is uitgevallen, zeer waarschijnlijk als gevolg van een configuratiewijziging die van kracht werd kort voordat de stroomstoringen plaatsvonden (begon ongeveer 1540 UTC).”
Door deze enorme storing waren grote delen van het internet offline
Hij vervolgde: “Er zijn nu mensen die proberen toegang te krijgen tot de peering-routers om fixes te implementeren, maar de mensen met fysieke toegang staan los van de mensen met kennis van hoe ze zich daadwerkelijk kunnen authenticeren bij de systemen en mensen die weten wat ze eigenlijk moeten doen, dus er is nu een logistieke uitdaging om al die kennis bij elkaar te krijgen. Een deel hiervan is ook te wijten aan minder personeel in datacenters als gevolg van pandemische maatregelen.”
Ramenporn verklaarde ook dat het geen aanval was, maar een foutieve configuratiewijziging via een webinterface. Wat echt stinkt — en waarom Facebook uren later nog steeds niet werkt — is dat aangezien zowel BGP als DNS niet beschikbaar zijn, de “verbinding met de buitenwereld verbroken is, externe toegang tot die tools niet meer bestaat, dus de noodprocedure is om fysieke toegang te krijgen tot de peering-routers en alle configuratie lokaal uit te voeren.” Natuurlijk weten de technici ter plaatse niet hoe ze dat moeten doen en zijn senior netwerkbeheerders niet ter plaatse. Dit is, kortom, één grote puinhoop.
Als voormalig netwerkbeheerder die op dit niveau op internet heeft gewerkt, verwacht ik dat Facebook nog urenlang offline zal zijn. Ik vermoed dat het de langste en meest ernstige mislukking van Facebook tot nu toe zal worden voordat het is opgelost.
Verwante verhalen:
Facebook gaat offline, samen met Instagram en WhatsAppPhysics legt uit waarom er geen informatie is op sociale mediaSnelle, gemakkelijke (en gratis) manier om Facebook meer te maken draaglijk
Verwante onderwerpen:
Cloud Digital Transformation Datacenters CXO Innovation Storage 