Slapende bug uit juli legde Microsoft 365 wereldwijd plat

Slapende bug uit juli legde Microsoft 365 wereldwijd plat

Microsoft heeft een eerste analyse gepubliceerd van de wereldwijde Microsoft 365-storing van donderdag 12 november. Een slapende bug uit juli, extra Teams-verkeer en 14 procent minder servercapaciteit veroorzaakten samen een kettingreactie. Op het dieptepunt reageerde ruim 80 procent van de gateway-servers niet meer.

De storing trof de networking gateway die vóór veel Microsoft 365-diensten staat. Vooral Exchange Online, en daarmee Outlook, lag plat. Volgens meldingen op Microsoft Q&A hadden ook Teams, SharePoint Online, Copilot en Defender XDR last van de storing. Microsoft registreerde het incident onder nummer MO1550821. Het bedrijf heeft benadrukt dat er geen cyberaanval achter zat.

Een uitgebreidere root cause-analyse staat inmiddels in het Microsoft 365 admin center. “Het spijt ons zeer voor de impact op al onze klanten”, schrijft Microsoft. Het bedrijf erkent dat de storing de normale bedrijfsvoering van organisaties raakte.

De praktische gevolgen op de werkvloer waren dan ook groot. Omdat niet alleen e-mailverkeer via Outlook stilviel, maar ook het inloggen op Microsoft-accounts stokte, zaten talloze medewerkers urenlang buitengesloten van hun digitale werkomgeving. Zonder toegang tot gedeelde documenten, interne communicatie en agenda’s lag een groot deel van het dagelijkse kantoorwerk simpelweg stil. Ook organisaties die voor hun klantcontact of authenticatie op de clouddiensten van Microsoft leunen, waren daardoor tijdelijk onbereikbaar of niet in staat om hun reguliere dienstverlening uit te voeren.

Drie factoren, één kettingreactie

De kern van het probleem ligt bij een fix die specifiek voor de gateway-servers van Microsoft 365 was gemaakt. Die bevatte een verborgen defect. Onder bepaalde belasting ontstond lock contention in een intern proces, waarna de machine onbereikbaar werd. Bredere Windows-deployments hebben er volgens Microsoft geen last van.

De wijziging werd al in juli uitgerold. Ruim drie maanden draaide alles dus wereldwijd zonder problemen op te leveren. Waarom dat niet eerder opviel? De loadtests van Microsoft richtten zich vooral op zwakkere hardware-SKU’s met minder cores. Het probleem verergert juist op nieuwere machines, die meer rekenkernen tot hun beschikking hebben.

Daar kwamen nog twee factoren bij. Zo’n vijftien uur voor de storing schakelde Teams via een failover over van de alternatieve gateway naar de primaire gateway, die ook Exchange Online bedient. Dat verhoogde de belasting en veranderde de verkeerspatronen. Tegelijk stond bijna 14 procent van de servercapaciteit uit door een ongerelateerd probleem van een dag eerder. Afzonderlijk hadden die factoren geen impact, maar samen dus wel.

Lees ook: Exchange instabiel na Windows-update

Scheidingen hielden geen stand

Wat volgde was een kettingreactie. Traffic management stuurde gebruikers automatisch door naar gezonde endpoints, maar dat extra verkeer bracht ook die servers in de problemen. Binnen twee uur was meer dan 80 procent van de servers onbereikbaar. Ook de bulkheads tussen ‘capacity units’ en regio’s hielden de storing door een apart probleem niet tegen.

Teams, OneDrive, SharePoint en Office-apps konden uitwijken en kwamen daardoor eerder terug. Exchange Online kan dat niet. Het herstel verliep bovendien moeizaam, meldde ook CIO: servers die terugkwamen, werden direct weer overspoeld door wachtend verkeer. En omdat de bug maanden oud was, konden rollback, flighting en feature flags de wijziging niet snel terugdraaien.

Engineers ontwikkelden daarom een update die het codepad terugzette naar de laatst bekende goede staat. Groepen servers, soms meer dan de helft van een regio, werden uit dienst gehaald, bijgewerkt en herstart.

Het is niet de eerste keer dat een update Microsoft parten speelt. Zo was Teams eerder pas weer beschikbaar na het terugdraaien van een foutieve update. De definitieve Post-Incident Review volgt later deze week.