Luscii - Berichtgeschiedenis

We hebben de vorige stabiele versie weer teruggebracht op de productieomgeving en monitoren de situatie nauw. De ‘Niet-ingestuurd’ meldingen van vandaag worden weer correct aangemaakt.

De meldingen van woensdagmiddag en donderdag kunnen we helaas niet met terugwerkende kracht alsnog genereren.

Daarnaast zullen we organisaties met meer dan 100 gemiste meldingen proactief benaderen: vandaag, gedurende het weekend en uiterlijk maandag.

Mocht je organisatie maandagavond geen e-mail hebben ontvangen, dan kun je ervan uitgaan dat er minder dan 100 gemiste meldingen waren. Uiteraard ben je alsnog welkom om deze data handmatig op te vragen via support.

We blijven de situatie monitoren.

We werken aan een oplossing; deze wordt momenteel uitvoerig getest.

Missende ‘Niet ingestuurd’ meldingen kunnen via support@luscii.com worden opgevraagd. Geef daarbij graag aan voor welke programma’s je de gegevens wilt ontvangen.

Samenvatting

Op 14 januari 2026 hebben we een infrastructuurwijziging doorgevoerd met betrekking tot logging (het vastleggen van technische gebeurtenissen). Deze wijziging was niet compatibel met onze Vitals-service, waardoor sommige verzoeken mislukten. Als gevolg hiervan gaf ongeveer 10% van de verzoeken tijdens de incidentperiode een foutmelding in de applicatie.

Belangrijk: er zijn geen patiënt meldingen gemist en geen patiënten zijn niet gemonitord.

Tijdlijn

Periode van het incident: 14 jan. 2026 15:24 → 15 jan. 2026 18:15

• 14 jan. 2026 15:24 – Vrijgegeven voor productie

• 14 jan. 2026 17:45 – Intern signaal: verhoogd foutenpercentage

• 15 jan. 2026 09:28 – Gemeld en als urgent aangemerkt

• 15 jan. 2026 09:52 – Hotfix 1 geïmplementeerd

• 15 jan. 2026 14:27 – Hotfix 2 geïmplementeerd

• 15 jan. 2026 18:15 – Terugdraaien naar een stabiele versie (probleem opgelost)

Impact

Wat gebruikers hebben ervaren

• Tijdens de periode waarin het incident zich voordeed, mislukte ongeveer 10% van de verzoeken en werd een frontend-fout weergegeven.

• Alle organisaties konden potentieel getroffen worden (brede reikwijdte), hoewel de impact varieerde afhankelijk van het gebruik en het tijdstip.

Ernstclassificatie

• Kritiek (omdat het zichtbare fouten veroorzaakte en de stabiliteit aantastte), ondanks dat er geen klinische schade was.

Oplossing

Er was geen oplossing beschikbaar aan de gebruikerskant. De oplossing vereiste aanpassingen aan onze kant.

Oorzaak

Het probleem ontstond door een wijziging in de manier waarop logbestanden via onze infrastructuur werden verzonden. Onze software kon het nieuwe formaat niet correct verwerken.

Een neveneffect verergerde het probleem:

• Wanneer een verzoek mislukte, probeerde ons systeem de fout te registreren .

• Omdat de logboekregistratie al defect was, mislukte ook die poging tot logboekregistratie.

• Dit creëerde een vicieuze cirkel van herhaalde foutmeldingen, waardoor het aantal fouten toenam, de prestaties verslechterden en het inzicht afnam door het verlies van loggegevens.

Dit resulteerde in:

• Herhaalde "broken pipe"-logfouten per verzoek.

• Verminderde applicatieprestaties

• Gedeeltelijk verlies van loggegevens gedurende het venster.

Oplossing

• We zijn teruggegaan naar de laatst stabiele productieversie.

• We hebben ook het mechanisme verwijderd dat ervoor zorgde dat fouten bij het loggen een kettingreactie van fouten veroorzaakten in VitalsAPI v3.29.102 .

Communicatie

Extern

• De getroffen klanten zijn geïnformeerd.

• Het incident werd bijgehouden op InStatus.

Intern

• De relevante personen en Slack-kanalen werden tijdens het incident op de hoogte gebracht.

Verbeteringen (preventie)

1. Bredere en snellere interne signalering

   Wanneer potentiële productieproblemen worden geconstateerd, zullen we meerdere interne betrokkenen via gedeelde kanalen (bijv. product/operations) sneller op de hoogte stellen.

2. Verminder alarmmoeheid door duidelijkere verantwoordelijkheden.

   We zullen de verantwoordelijkheid voor meldingen en de reactieverwachtingen bijwerken, zodat meldingen consequent worden afgehandeld.

3. Verbeter de tools voor statuscommunicatie

   We zullen onderzoeken of een Datadog-statuspagina een alternatief kan zijn voor Instatus om de betrouwbaarheid en snelheid van externe updates te verbeteren.

To fix this issue permanently an maintenance window will be introduced, at 17:15 UTC our systems will be unavailable for a small window of time (expected to be approximately 20 mins) so we can roll back some infrastructure changes. After this window its expected that all issues will be resolved.

Helaas zien we dat het probleem opnieuw terugkomt.

De eerdere oplossing had tijdelijk effect, maar het probleem bouwt zich langzaam op. Daardoor lijkt het in het begin opgelost, terwijl het later toch weer fout gaat.

Omdat dit alleen gebeurt bij veel gelijktijdige gebruikers, lukt het ons niet om het probleem goed na te bootsen in onze testomgeving. Daar missen we de schaal van het echte gebruik.

We werken nu aan een nieuwe type aanpak om dit blijvend op te lossen. Meer updates volgen zo snel mogelijk.

De nieuwe oplossing is zojuist geïmplementeerd.

We verwachten dat dit het probleem volledig oplost.

We houden de situatie nauwlettend in de gaten om ervoor te zorgen dat alles stabiel blijft.

Heeft u vragen? Neem gerust contact op met support@luscii.com.

We hebben de oorzaak van het probleem gevonden.

• Door een wijziging in de manier waarop foutmeldingen intern worden verwerkt, raakte ons systeem overbelast. Dit leidde tot nieuwe fouten, waardoor het probleem langzaam terugkwam.

• Omdat dit geleidelijk opbouwt, leek het alsof alles eerst goed ging, maar kwam het probleem later weer terug.

Ons team werkt nu aan een oplossing. Zodra deze klaar en doorgrondig getest is, wordt de update direct doorgevoerd. We houden jullie op de hoogte.

We zien dat het probleem met het laden van gegevens in Luscii in sommige onderdelen weer optreedt (webversie, HiX) .

• De gegevens worden niet altijd direct geladen en er kan een foutmelding verschijnen.

• In veel gevallen helpt het vernieuwen van de pagina als workaround.
  

We begrijpen dat dit ongemakkelijk is tijdens uw werk. Ons team onderzoekt het probleem opnieuw en werkt aan een stabiele oplossing. Ingezonden metingen worden nog steeds correct verwerkt.

De problemen met het Luscii-platform zijn nu opgelost:

• Pagina's in de webomgeving en de integraties laadde soms niet goed, dit werkt nu zoals verwacht.

• Patiënten zagen soms een foutmelding bij het verzenden van metingen via de app en moesten het opnieuw proberen.

• Succesvol verzonden metingen werden correct verwerkt in het meldingsysteem. Er zijn geen meldingen (alerts) gemist voor ingezonden metingen.
  

Momenteel kan er nog een lichte vertraging optreden bij automatische workflows en bij het verschijnen van meetwaarden in de app of het dashboard. Dit is normaal tijdens piekuren en herstelt zich vanzelf.

Er zal een Post-Mortem over dit probleem worden gepubliceerd.

Luscii ondervond vanochtend problemen zoals trage laadtijden en foutmeldingen. Deze werden veroorzaakt door een technisch probleem in het systeem.

Er is nu een oplossing geïmplementeerd. Luscii presteert al beter: pagina's laden sneller en het aantal onverwachte foutmeldingen neemt snel af.

We houden de situatie nauwlettend in de gaten.

Update: Probleem met patiëntaanmaak – we werken aan een oplossing

Het probleem met het aanmaken van patiënten wordt veroorzaakt doordat een onderdeel van ons systeem (ActiveMQ) vol is gelopen. We zijn momenteel bezig dit op te schonen zodat alles weer normaal werkt.

Andere componenten worden niet geraakt door dit probleem.

Voor vragen kun je contact opnemen met support@luscii.com