Evaluatie en tegemoetkoming storing kerstochtend 2023 - opgelost

Kerkdienstgemist werd op kerstavond en kerstochtend getroffen door een hinderlijke storing. Zoals gebruikelijk is maken wij van elke storing altijd publiek melding op onze nieuwspagina voor beheerders.

De storing op kerstavond was uitzonderlijk. In heel 2023 waren er nog geen algemene storingen geweest bij Kerkdienstgemist waardoor kijkers of luisteraars geen live uitzending konden bijwonen. De storing was ook langdurig, het duurde lang voordat het lukte om het probleem op te lossen. Ook was het tijdstip van de storing, kerstavond en kerstochtend, natuurlijk zeer ongelukkig.

Bij storingen vindt er altijd intern een evaluatie plaats. Omdat dit een uitzonderlijke storing was met veel hinder voor bezoekers van Kerkdienstgemist nemen we onze verantwoordelijkheid met een publieke terugkoppeling en een tegemoetkoming in de kosten.

Tegemoetkoming

We hebben besloten kerken een eenmalige tegemoetkoming te geven voor de periode dat ze geen gebruik hebben kunnen maken van Kerkdienstgemist. Het ging om een uitzonderlijke storing op een heel vervelend moment. Daarom bieden we alle kerken een tegemoetkoming ter hoogte van 10% van het factuurbedrag van december 2023. Dit zal verrekend worden op de factuur van januari 2024. Deze tegemoetkoming is eenmalig vanwege het uitzonderlijke karakter van de storing.

Veel liever willen we natuurlijk helemaal geen storingen. Dat is waarom we hard werken om onze dienstverlening robuust te maken. Met succes; de laatste grote algemene storing bij Kerkdienstgemist was, bijna 3 jaar geleden, tijdens de corona lockdown op 3 januari 2021.

Evaluatie

De dienstverlening van Kerkdienstgemist bestaat uit een groot aantal technische onderdelen. Zo zijn er audio- en videoservers waarop uitzendingen binnenkomen, een Content Distribution Network dat de uitzendingen doorstuurt aan kijkers, servers voor de website en servers die gegevens leveren (via een api) voor de app en de website.

De storing die zich voordeed ontstond doordat de search server zeer traag werd. De server ging niet offline en deed, alleen zeer vertraagd, wel correct zijn werk. Search is nodig voor een correcte werking van Kerkdienstgemist. Alle zoekopdrachten binnen Kerkdienstgemist gebruiken search. Search is ook nodig om de landkaart op de homepagina te tonen en te navigeren naar een provincie, gemeente of kerk. Doordat search vertraagd was, maar wel werkte, ontstonden er problemen op de web servers en de api servers. De web en api servers worden gebruikt om de website weer te geven en zijn nodig voor het gebruik van de app.

Op kerstavond rond 23:10 constateerden we dat er iets niet in orde was, naar aanleiding van een melding uit de monitoring. Op dat moment leken er problemen te zijn met de api servers. De hele nacht is geprobeerd om deze problemen op te lossen. Maar omdat het probleem met search niet onderkend werd lukte dat niet.

Op kerstochtend rond 07:00 zijn daarom een aantal collega's bijgesprongen om samen te proberen de oorzaak van de problemen te achterhalen. Ook zij slaagden er niet meteen in om het probleem te vinden en daarom werd besloten om naast de melding op de nieuwspagina alle beheerders een email te sturen. Pas rond 09:30 werd duidelijk dat het probleem werd veroorzaakt doordat search traag was. Rond 10:00 hebben we uiteindelijk vastgesteld waarom search traag was.

Toen we wisten waarom search traag was konden we dit probleem vrij snel oplossen. Om 10:07 werd search verplaatst naar een ander type server en vrij snel, rond 10:15, zagen we dat alles weer correct begon te werken. Na 10:15 zijn er geen incidenten meer geweest.

Gevolgen voor kerk en kijker

Deze storing had een aantal nare gevolgen voor kijkers en luisteraars.

In de periode tussen 24 december 23:09 tot 25 december 10:07.

Alles wat afhankelijk was van search werkte niet of zeer traag.

• Het bekijken van de voorpagina van Kerkdienstgemist.nl.
• Navigeren naar een provincie of gemeente.
• Zoeken naar een kerk of opname.

Gedeelten van de periode tussen 24 december 23:09 tot 25 december 10:07.

Tijdens enkele, korte, delen van deze periode was het helemaal niet mogelijk om de website kerkdienstgemist.nl te bezoeken of om informatie op te vragen in de app.

Welke dienstverlening wel werkte.

Een deel van de dienstverlening bleef zonder problemen werken. Veel kerken hebben gemeld dat ze geen hinder van de storing hebben ondervonden.

• Het starten van een uitzending.
• Het bekijken van een uitzending via een embed op de eigen website van de kerk.
• Rechtstreeks naar een kerk navigeren en een uitzending bekijken, b.v. via een bookmark.
• De beheeromgeving gebruiken.
• Het bekijken van de uitzending via de beheeromgeving.
• De uitzending bekijken of beluisteren via een settopbox of een Lukas.

Maatregelen

Bij elke storing evalueren we of we maatregelen moeten nemen om het in de toekomst beter te doen. Ook in dit geval hebben we maatregelen getroffen, die zijn erg technisch van aard, maar we proberen ze hier toch uit te leggen.

We maken voor onze dienstverlening gebruik van infrastructuur die automatisch schaalt, waarbij er ook automatisch gekozen word voor bepaalde servers die op dat moment kosteneffectief zijn. Dus als het drukker word (op zondagochtend) worden er automatisch servers bijgeplaatst om kijkers en luisteraars te laten kijken naar hun dienst.

De oorzaak van de storing was het gebruik van een type server waarbij er restricties zijn op langdurig zwaar belasten van de processor, wanneer die restricties langere tijd overschreden zijn. De omstandigheden waaronder deze storing zich voor kon doen waren zeer uitzonderlijk.

Om ervoor te zorgen dat deze storing zich niet weer voordoet hebben we besloten om geen gebruik meer te maken van dit type server. Zowel niet voor search als voor andere diensten die hier, mogelijk, last van zouden kunnen hebben. Verder hebben we onze monitoring en de daarbij behorende meldingen verder aangescherpt.

Veelgestelde vragen

Wordt de website in de gaten gehouden op kerstavond (en op zondag)?

Wij houden al onze diensten geautomatiseerd en continu in de gaten met zeer uitgebreide monitoring. Zodra er iets aan de hand is krijgen we daar meldingen van. Wij waren er dan ook van op de hoogte dat er iets aan de hand was. Dat het zo lang duurde voor de storing opgelost kon worden was omdat het heel moeilijk was om vast te stellen wat nu precies de oorzaak was.

Wat kan ik zelf doen in geval van een storing?

Wij raden altijd aan om de kerkdienst ook lokaal op te nemen als dat mogelijk is. Bij de veel encoders kan er opgenomen worden op externe opslag zoals bijvoorbeeld een USB stick. Een storing bij Kerkdienstgemist is gelukkig zeer zeldzaam, maar het internet in de kerk kan ook een keer uitvallen. Als het internet in de kerk uitvalt is er bij Kerkdienstgemist ook geen opname.

Als er in de kerk zelf opgenomen is dan kan deze opname altijd na afloop geüpload worden. Of het nou om een storing van Kerkdienstgemist gaat of een andere reden dat er niet uitgezonden kon worden.

Krijgen we nu korting op onze factuur?

De facturen voor december zijn al verstuurd voordat wij onze evaluatie hebben kunnen afronden. We hebben daarom besloten om alle kerken een tegemoetkoming van 10% van het factuurbedrag van december 2023 te geven op de factuur van januari 2024. Dit doen we vanwege het uitzonderlijke karakter van deze storing.