Opgelost - Storing: Landelijke storing Kerkdienstgemist sinds 24-12-2023 23:09

25-12 10:15 Probleem gevonden en opgelost

We hebben het probleem gevonden en een oplossing geïntroduceerd. Één van de diensten die nodig is voor Kerkdienstgemist, onze search service, had sinds gisteravond problemen. We hebben de problemen bij de search service gevonden en opgelost. Het is nu weer mogelijk om kerken te zoeken en uitzendingen te starten. Ook het bekijken van diensten via de app werkt weer.

Vanaf 10:07 kwam de dienstverlening weer online, vanaf ongeveer 10:15 lijkt alles weer soepel te lopen. De komende dagen houden we de situatie nauwlettend in de gaten, maar alles wijst er op dat het probleem correct verholpen is en alles weer soepel draait.

Alle opnames lijken correct gestart te zijn. We zien echter dat veel beheerders de zender uit- en aangezet hebben. Wanneer u de zender gestopt en gestart heeft zullen de opnames gefragmenteerd zijn. Mocht u na de dienst constateren dat de opname uit losse delen bestaat is dan kunt u de samenvoeg functionaliteit gebruiken.

Nagekomen bericht: specifiek de getalletjes op de homepagina (1131 kerken live, 1978 kerken en 208588 opnames) stonden nog even op 0. Deze zullen nu ook weer de juiste getallen weergeven.

Technische uitleg

De search service reageerde traag op verzoeken. Deze service is nodig om kerken te zoeken, maar is ook nodig voor de landkaart op de homepagina en om naar kerken toe te navigeren. Normaal gesproken als de search service offline gaat dan zouden andere systemen hier correct mee om moeten gaan; en wij hebben natuurlijk monitoring om ons van zulke storingen op de hoogte te stellen. De search service was echter niet offline, slechts "traag", hierdoor ontstonden in onze web en api services problemen wat hinder gaf op de website en in de app.

Door deze specifieke aard van de problemen leek search dus gewoon correct te functioneren. Hierdoor duurde het lang voordat wij konden constateren dat het probleem in de search service zat.

In technische termen: de search service was binnen ons AWS kubernetes cluster op een burstable (T type) instance geland en door de vele uploads rond kerstnacht was deze door z'n CPU budget heen geraakt. Hierdoor werd search gethrottled waardoor bij de api en web services problemen ontstonden. Toen we eenmaal constateerde dat search gethrottled werd kon deze snel naar een normale cpu instance verplaatst worden en kwam alles weer online. Search is één van de weinige services die langere tijd op één node draait, de meeste andere services hebben geen last van afnemend cpu budget op burstable instances. Op een later moment zullen we kritisch naar onze provisioners kijken om vast te stellen of er nog andere diensten zijn die nooit op burstable instances moeten landen.

Het was een vrij specifieke samenloop van omstandigheden waardoor dit probleem zich voordeed. Een meer uitgebreide post-mortem volgt nog, hierin zullen we ook transparant communiceren.

25-12 08:45 Mail naar beheerders verstuurd

We hebben een mail naar alle beheerders gestuurd waarin we melding maken van de landelijke storing.

Het kan niet op een slechter moment dan vandaag, 1e kerstdag. Kerkdienstgemist kampt helaas sinds gisteravond 23:09 met een landelijke storing. We hebben de hele nacht doorgewerkt om de oorzaak te vinden, maar dat is tot op dit moment helaas nog niet gelukt.

Na een nacht zoeken naar de oorzaak is de verwachting nu dat de storing niet op korte termijn opgelost kan worden. De storing is niet het gevolg van recente wijzigingen maar lijkt zijn oorzaak te hebben in onze infrastructuur. We blijven naarstig zoeken naar een oplossing.

Wij vinden het verschrikkelijk vervelend voor alle kijkers, luisteraars en u als beheerder. Helaas zijn dit de feiten op dit moment.

We houden u op de hoogte op onze nieuwspagina.

Mijn excuses voor het ongemak.

25-12 08:00 Update

We werken ondertussen nog steeds koortsachtig aan een oplossing voor de storing. Het vervelende is dat we de exacte oorzaak nog niet hebben ontdekt. Het probleem is dat het centrale deel van de infrastructuur plat ligt dat veel van het verkeer afhandelt.

We hopen natuurlijk dat we voordat alle diensten starten weer in de lucht zijn. Maar op dit moment kunnen we daar geen enkele garantie op geven. We begrijpen dat dit zeer vervelende consequenties voor de diensten voor uw kijkers en luisteraars heeft.

We blijven hard doorwerken om dit probleem op te lossen

25-12 06:00 Update

De storing is helaas nog steeds gaande. Het is nog niet gelukt om de storing te verhelpen. Er wordt hard gezocht naar een oplossing.

24-12 23:09 Oorspronkelijke bericht

Sinds 23:09 op kerstavond 24 december 2023 is er een probleem met de bereikbaarheid van Kerkdienstgemist. Door deze storing functioneert de website niet en kunnen kerkdiensten niet bekeken/beluisterd worden.

We werken aan een oplossing.

Juist op kerstavond is dit natuurlijk ontzettend vervelend. We werken aan een oplossing.