Rakovina prostaty v datech, ne v papírech. Systém převádí lékařské zprávy a nákresy do dat pro porovnání histologie s magnetickou rezonancí.
PatoScan převádí papírové nálezy rakoviny prostaty do strukturovaných dat. Místo ručního přepisování lékař kontroluje předvyplněný návrh — s potenciálem zkrátit zpracování případu z 30 na 3 minuty. Výsledkem jsou podklady pro systematické porovnávání histologie s magnetickou rezonancí.
Jak to funguje Uživatel nahraje histologickou zprávu a odpovídající schéma ve formátu JPG, PNG nebo PDF, jednotlivě či dávkově. OCR přečte dokumenty a podle rozpoznaných identifikátorů systém ověří jejich spárování.
Obrazová pipeline normalizuje osvětlení a pomocí algoritmu SIFT zarovná sken s referenční šablonou. Potlačením předtištěného pozadí zvýrazní ručně zakreslené značky. Geometrická analýza následně určí jejich překryv se 41 anatomickými segmenty registru COMPARE.
V jediném strukturovaném požadavku předáváme multimodální AI celý OCR text, původní schéma, zarovnaný obraz s očíslovanými segmenty a geometrickou mapu. Model propojí text s kresbou a navrhne údaje o nádoru, Gleasonových vzorech, rozměrech a lokalizaci. Odpověď musí dodržet předepsané JSON schéma; backend následně ověřuje citace, hodnoty a pravidla lokalizace.
Zásadní výzvou byla nekonzistentnost vstupů: orientace pravé a levé strany se mezi pohledy může lišit, text nemusí odpovídat kresbě a značky bývají slabě viditelné nebo se překrývají. Zasažené regiony proto určujeme ze společného kontextu textu a obrázku. Samotná barevná značka není důkazem nádoru. Doložené údaje odlišujeme od odvozených návrhů a rozpory ponecháváme viditelné ke kontrole.
Jaká data jsme použili Anonymizované histologické zprávy, 40 naskenovaných schémat prostaty a datový slovník COMPARE poskytnuté Masarykovým onkologickým ústavem. Využili jsme předtrénované OCR a AI modely; vlastní aplikace vznikla během hackathonu.
Co jsme stihli Za 24 hodin jsme vytvořili propojený prototyp od nahrávání dokumentů přes OCR, obrazové zpracování a AI vyhodnocení až po backendové API a přehledné, intuitivní rozhraní. Uživatel porovnává zprávu, schéma a výsledky vedle sebe, zobrazuje zdrojové citace, opravuje údaje i regiony a exportuje výsledek do JSON.
Časovou úsporu chceme ověřit v reálném provozu. Přínosem je méně ručního přepisování, konzistentnější data a dohledatelný zdroj jednotlivých údajů. Konečné rozhodnutí zůstává na lékaři.
Co by následovalo Odborná validace s patology, měření přesnosti a časové úspory a dokončení přímého importu schválených dat do REDCapu. Aktuálně exportujeme do souboru. Dalším krokem je také ověření provozu v nemocniční infrastruktuře; současné AI vyhodnocení využívá Azure API.
- Měli už předtím
- Nic, jen energii a chuť.
- Využití AI
- OCR převádí skeny histologických zpráv na text a čte identifikátory dokumentů. OpenCV zarovnává schémata, normalizuje osvětlení a mapuje značky na 41 segmentů prostaty. Multimodální model propojuje OCR text, původní schéma a očíslovanou mapu segmentů. Navrhuje nálezy, Gleasonovy vzory, rozměry a zasažené regiony.
Chyby omezujeme programovou validací: ověřujeme přesné citace v OCR, číselné hodnoty, povolené kódy a vybraná anatomická pravidla. Doložené údaje odlišujeme od odvozených návrhů; rozpory a neznámé hodnoty zobrazujeme ke kontrole. V UI uživatel porovnává výstup se zdrojem a opravuje údaje i regiony. Citace nezaručuje správnou interpretaci, proto je nutná odborná kontrola. Klinická validace s patology je dalším krokem. - Dopad
- PatoScan může zkrátit zpracování jednoho případu z přibližně 30 na 3 minuty: místo ručního přepisu lékař kontroluje předvyplněné údaje. Jde o odhadovanou úsporu 90 % času, tedy 27 minut na případ. Při 100 případech měsíčně by to znamenalo přibližně 45 hodin uvolněných pro odbornou práci.
Automatizace může omezit chyby při přepisování a sjednotit evidenci nálezů. Zdrojové citace a upozornění na rozpory usnadňují kontrolu a dohledání problematických údajů.
Strukturovaná data zároveň umožní systematičtěji porovnávat histologii s magnetickou rezonancí a vytvářet kvalitnější podklady pro výzkum i vyhodnocování diagnostických postupů. Časovou úsporu a vliv na chybovost chceme ověřit s patology v reálném provozu. - Komu pomůže
- Lékaři a sestry, Výzkum
- Technologie InterSystems
- Ne
- Tým
- Patrik Vrbovsky — Adam Bojnanský, Martin Vaculík, Boris Cigáň, Matúš Mihaljevič
- Výzva
- ProstaPaper · Brno