Po spuštění Národního systému ověřování pravosti léčiv (NSOL) byl hlavním problémem vysoký počet chybových hlášení. Mírný optimismus klesajícího počtu alertů byl zbrzděn poruchou funkce NSOL, což často v posledních měsících vedlo k nemožnosti ověřit léčivý přípravek koncovým uživatelem. Národní organizace pro ověřování pravosti léčiv (NOOL) od samého počátku potíží, které NSOL postihly, intenzivně komunikovala s dodavatelem IT řešení, společností Solidsoft Reply. Postupně se daří identifikovat problémy a řešit je.

V současnosti je stav optimalizován, nicméně pokračuje se v prověřování všech součástí systému. Skutečnost, že se problémy vyskytly jen v ČR, může souviset s nejvyšším počtem transakcí u českých koncových uživatelů v porovnání s dalšími zeměmi EU, které jsou klienty Solidsoftu Reply. Problém ještě není zcela definitivně vyřešen, ale jsou činěny postupné kroky k identifikaci všech možných příčin zpomalení systému a k jejich odstranění.

Český Národní systém ověřování pravosti léčiv byl spuštěn do testovacího provozu již v průběhu roku 2018 a 9. února 2019 do regulérního provozu. Počátečním problémem byl vysoký počet chybových hlášení (tzv. alertů), z nichž byla podstatná část způsobena neshodou s daty nahranými držiteli rozhodnutí o registraci (MAH) a údaji v unikátním identifikátoru (2D kódu); část připadla na vrub software používaným koncovými uživateli (v čtečkách a formátech zápisu). V naprosté většině se jednalo o formální chyby, které nebudily podezření na padělané léčivo. Klesající trend počtu alertů vzbuzoval mírný optimismus.

Výpadky NSOL

V první polovině dubna (první incident se objevil 10. 4. 2019) došlo k omezení možnosti ověřit léčivý přípravek a poté se problém vyskytl ještě několikrát. Situace gradovala od středy 22. května 2019, kdy pro výpadek databáze (9 – 12 hod.) byla nedostupností systému postižena většina koncových uživatelů. S výjimkou tohoto tříhodinového výpadku nebyl provoz systému přerušen, respektive v rámci monitoringu byly jeho komponenty dostupné. U koncových uživatelů však docházelo k prodlužování doby odezvy až na desítky sekund a následovala nedostupnost pro prodloužení doby odezvy (tzv. request timeout). Problémy zaznamenávali různí koncoví uživatelé s rozlišnými IT systémy a jejich intenzita byla kolísavá. Problémy s dostupností se objevily i 24. 5. a 27. 5. 2019. V důsledku nedostatečného řešení ze strany Solidsoft Reply postihl výpadek i nahrávání a aktualizaci dat MAH/OBP přes EU-HUB do českého NSOL. Tento výpadek trval od 25. 5. do 29. 5. 2019.

Dílčí problémy (krátkodobější a v menším rozsahu) se ale objevovaly i v průběhu června (5., 6., 13., 14., 18., 20., 21. 6. 2019).

Akce NOOL

Od eskalace potíží s ověřováním Národní organizace pro ověřování pravosti léčiv intenzivně jednala se Solidsoft Reply (dodavatelem IT řešení na evropské úrovni). Postupně se podařilo do řešení problému zainteresovat management Solidsoft Reply, management Evropské společnosti pro ověřování pravosti léčiv (EMVO) i Evropskou federaci farmaceutických společností a asociací (EFPIA). Přestože ostatní země používají identickou verzi systému, problém se objevil pouze v České republice, která má mezi zákazníky Solidsoft Reply největší objem transakcí.

Postupně probíhalo intenzivní zjišťování možných příčin problémů systému. Zpočátku nebylo jasné, odkud problém pochází, proto se prověřovala celá řada hypotéz: od chyby v aplikaci, přes problémy v infrastruktuře až po cílený útok. Přehled aktivit je uveden níže.

Zjištění a aktivity NOOL

Duben 2019

• Hledání příčin prvotního incidentu se zaměřilo na konfiguraci předávání transakčních požadavků mezi systémovými uzly (NODs), po rekonfiguraci problémy na téměř měsíc ustaly.

Květen 2019

• Po vygradování problémů bylo postupně založeno sedm incidentních ticketů (Help Desk Solidsoft).
• Problém byl postupně eskalován na management Solidsoft Reply, byly vedeny krizové konferenční hovory.
• Byla informována evropská platforma (EMVO, portál EVI) a zainteresováno vedení EMVO. Opakovaně byly realizovány konferenční hovory monitorující vývoj.
• Bylo založeno vedení zprávy o problému, která před uzavřením bude vyžadovat akceptaci výsledků včetně korektivních akcí, byla otevřena iniciativa CAPA (Nápravná a preventivní opatření).
• Byl vytvořen vlastní monitorovací nástroj k sledování dostupnosti národního systému.
• Výpadek databáze řešil SolidSoft Reply opakovaně přímo s Microsoftem. V době výpadku 22. 5. 2019 byla znovu spuštěna databáze, ale v ČR se stav ještě více zhoršil. K  přehrání systému ve stávající konfiguraci došlo v pátek 24. 5. 2019 (19 – 23 hodin).
• Problémy přetrvávaly i 27. 5. 2019, z čehož vyplynulo, že předchozí kroky neodhalily skutečnou příčinu/y.

Červen 2019

• V průběhu června byly zaznamenány opět dílčí problémy s odezvou systému (v menším rozsahu než v květnu). Solidsoft Reply detailně monitoruje český trh a při náznacích problému (rostoucí počet zablokovaných vláken) části systému postupně restartuje (to neovlivňuje provoz NSOL). Proto již nedochází k vážnějším dlouhodobějším potížím.
• Solidsoft Reply provedl několik nápravných opatření (zvětšení velikosti RAM, změna scriptu pro přidělování zdrojů pro jednotlivé uzly, změna doby exspirace aplikační mezipaměti).
• Solidsoft Reply upravil testovací prostředí pro kvalitnější zátěžové testy lépe simulující chování uživatelů v systému (rychlejší nástup zátěže systému v počtu transakcí během minuty, kombinace transakcí, zohlednění vyššího podílu intermarket transakcí).
• Provedené zátěžové testy potvrdily jako jednu z hlavních příčin problému neustálé načítání konfiguračního scriptu při každém dotazu API ve schématu JSON.
• Byl proveden release opravy kódu, který řešil především výše uvedený problém schématu JSON (23. 6. 2019) specificky pro ČR.
• Podařilo se nalézt několik příčin problémů a postupnými změnami je odstranit.
• Hledání dalších možných příčin nadále pokračuje.

Stávající kroky a další postup

• • Postupně dochází k prověřování jednotlivých komponent a částí řešení, aby byl problém izolován a potvrzena příčina.
  • Byla zvětšena velikost paměti (RAM) 21. 5. 2019.
  • Došlo k opětovnému nahrání (re-deployment) všech komponent aplikace k vyloučení možnosti chyby nebo změny kódu aplikace a k co nejrychlejšímu zprovoznění NSOL – 24. 5. 2019.
  • Byly provedeny konfigurační změny v nastavení clusteru pro NSOL.
  • Byly nalezeny další nesrovnalosti (chování aplikace a uzlů) – 27. 5. 2019.
  • Bylo zastaveno používání customizované komponenty Solidsoft Reply a místo toho zapisuje události do ETW standardní komponenta Windows.
  • Došlo k navýšení času mazání aplikační mezipaměti (optimalizace „cash memory“).

• NOOL spustila 28. 5. 2019 vlastní monitoring systému NSOL včetně on-line zobrazování stavu NSOL na stránkách NOOL. https://www.czmvo.cz/cs/stav-nsol/.

• NSOL od 24. 6. 2019 (po opravě schématu JSON) funguje bez výpadků, ojediněle se objevilo nárazové prodlužování odezev v nočních a brzkých ranních hodinách.
• Intenzivně pokračuje spolupráce NOOL a Solidsoft Reply na hledání dalších příčin/y problémů NSOL. Bylo zjištěno, co způsobovalo hlavní problém. Nyní probíhá v novém simulačním prostředí zátěžové testování pro zjištění další možných problémů.
• Byla schválena nápravná a preventivní opatření (CAPA). NOOL průběžně monitoruje jejich plnění ze strany Solidsoft Reply.
• Při problémech byl vznesen požadavek na spolupracující zástupce IT softwarových firem či koncové uživatele o poskytnutí konkrétních záznamů transakcí.
• Eskalace problému na EMVO a další zainteresované subjekty vedly k denním monitorovacím hovorům nad dalším postupem.