The patient takes photos of the documents from the doctors in any order. The ambulance service reads them straight away and starts preparing sooner, so anaemia is detected in time.
Mrs Věra is going in for cancer surgery. She’s carrying the note from her GP – showing a haemoglobin level of 104 g/l – in her handbag. The anaesthetist will see her a few days before the procedure, by which time there is no longer time for iron treatment. This is a hypothetical scenario, but according to the client, over 20 per cent of cancer patients undergo surgery whilst anaemic.
Why does this happen? These days, the preparation process is a sequential one: GP, laboratory, specialists and, finally, the anaesthetist’s clinic. Everyone is waiting for the previous stage, and the important test results are at the patient’s home. Older people generally do not use hospital portals.
Klidka is switching from a sequential to a parallel process. Associate Professor Bláha put it precisely: he doesn’t need to have all the results to start preparing the patient.
- The patient photographs the document as soon as they have it, in any order. Instead of a portal, they receive a single message: what’s missing, where to get it, and by when to book an appointment. One large button; the scanner automatically detects the edges of the paper; on a computer without a camera, a QR code is displayed on the phone. A family member can help by logging in themselves.
- The AI reads the message in the background and highlights each value directly on the photo. The doctor confirms or corrects it with a single click. Nothing happens without confirmation.
- The ambulance service acts immediately. Haemoglobin (Hb) levels below 120 g/l trigger a task according to the PBM rule specified in the request. A timeline shows whether preparations can be completed in time: waiting times for specialists at VFN, the validity period of tests, and the window for iron treatment. The nurse can see who has not responded and who has viewed the request but has not uploaded anything.
It works now, not just in a presentation. Data from the hospital via the InterSystems FHIR server, both ways; login via Bank iD (sandbox); video calls via Teams, case closure with dispatch to the hospital and printing, signed consent for anaesthesia, a photo of the mouth with camera guidance, and information from the VFN Informed Patient guide. Tested on 53 fictitious documents from VFN, which never left our computers.
Verified with the client. Doc. Bláha reviewed the prototype twice and his comments have been incorporated. In his words, it delivered more than he expected, and he wishes to proceed with a pilot at the VFN anaesthesiology outpatient clinic.
Securely. The AI does not diagnose anything or suggest treatment. Strict rules prevent nonsensical values, incorrect units and reports containing someone else’s national insurance number. We are keeping the anaemia alert as a separate module, as according to the MDR it will be classified as a Class IIa medical device.
Next steps. A pilot scheme at the General University Hospital with a single metric: how much sooner we can determine Hb levels and how many patients with anaemia can be treated in time. Then an SMS when there is a change in status, authorisation via the National Information Authority (NIA), and other departments which, according to the Deputy Minister, are tackling the same problem.
- Had before
- Žádný kód. Repozitář i aplikace vznikly na místě (první commit 16. 10. v 16:19). Ve čtvrtek jsme si prošli zadání a připravili rešerše a koncepty. Použili jsme veřejné knihovny (Next.js, OpenCV, scanic, MediaPipe), veřejné zdroje (Věstník MZ 1/2018, seznam čekacích dob VFN, konsenzus PBM), data od VFN (53 fiktivních dokumentů), Bank iD sandbox a FHIR server InterSystems se syntetickými daty (Synthea).
- Use of AI
- Jazykový model s viděním v Azure OpenAI (EU Data Zone, data se nepoužívají k trénování) čte fotky zpráv ve dvou krocích: přepíše každou stránku na řádky s polohou a pak z přepisu vytáhne hodnoty s odkazem na řádek. Díky tomu lékař vidí hodnotu přímo na fotce. Čte se na pozadí, pacient čeká jen na nahrání. Na telefonu běží malý model, který najde okraje papíru (scanic, OpenCV), a MediaPipe navede pacienta při focení úst. Nic z toho nediagnostikuje.
Jak hlídáme chyby: hodnota je od AI, dokud ji člověk nepotvrdí. Pevná pravidla zastaví nesmyslné hodnoty, špatnou jednotku, posunutý řádek a dokument s cizím rodným číslem. Nejistá hodnota nespustí žádnou akci. PBM, časová osa a souhrn jsou pevná pravidla, žádná AI. - Impact
- Klidka nemusí zůstat u jedné ambulance. Po konzultaci s panem náměstkem víme, že stejný problém řeší i další oddělení VFN: k důležitým informacím se dostávají pozdě. Princip, kdy pacient pošle papír, jakmile ho má, a nemocnice s ním hned pracuje, jde použít před každým plánovaným výkonem v každé nemocnici v Česku.
Pro pacienta je největší změnou klid. Poprvé vidí celou cestu léčbou najednou: co ho čeká, co má zařídit a do kdy. Nemusí nic hlídat sám a rodina může pomoct.
Pro léčbu to znamená čas. Hb od praktika ambulance vidí v den, kdy ho pacient vyfotí, ne pár dní před zákrokem. Nitrožilní železo potřebuje aspoň 2 týdny, perorální 6 až 8 týdnů, takže každý týden navíc rozšiřuje možnosti léčby. Ve virtuální předanestetické ambulanci v Madridu kleslo posouzení z 10 na 4,5 minuty a zrušené výkony ze 4,3 % na 2,8 % (bez AI). Kolik to bude ve VFN, ukáže pilot. - Who benefits
- Patients and their families, Doctors and nurses, Hospitals and care providers
- InterSystems technologies
- Yes — Načítáme pacientská data přes FHIR API z IRIS for Health (hackathon kit, syntetičtí pacienti ze Synthea). Stáhneme diagnózy, léky, alergie, laboratoř (Hb, trombocyty, ferritin, INR). Spojíme je se zprávami od pacienta do jednoho souhrnu pro anesteziologa. Údaje z dokumentů, které lékař ověří, zapisujeme zpátky přes FHIR, aby je viděla i nemocnice.
Machine translation from Czech
- Team
- Canbe — Tadeáš Kapic, Štěpán Varvařovský, Lukáš Vlček, Ondřej Tomášek
- Challenge
- SMART ONCO AA: Preparation without waiting · Prague