Vizualizace a lokalizace nádoru ledviny a generovaný pomocný popis pro výuku operace nádoru
Vizualizace a lokalizace nádoru ledviny a generovaný pomocný popis pro výuku operace nádoru
Technologie používaná při operaci ledvin vyžaduje, aby chirurg propojoval předoperační CT s obrazem z robotické kamery. Nádor přitom často není na povrchu ledviny vidět a jeho přesnou polohu, hloubku a vztah k cévám si doktoři musí představit z 2D řezů. Pro nové doktory je navíc obtížné se výkon naučit: záznamy operací sice existují, ale chybí k nim vysvětlení, co se v daném okamžiku děje.
Naše řešení spojuje předoperační anatomii a intraoperační dění do jednoho nástroje. První část z CT pacienta rekonstruuje 3D model ledviny s nádorem a okolím. Používáme čtyři rekonstrukční modely, jejichž výstupy kombinujeme. Každý model má jiné slabiny a jejich spojení kvalitně reprezentuje CT scany v podobě 3D modelu a zvyšuje šance správně detekovaného nádoru. Výsledný model ukazuje polohu, velikost a hloubku nádoru i další potenciálně zajímavé parametry. Lze ho použít k plánování a výuce a také ho promítnout vedle obrazu z kamery, aby si odborníci lépe představili, kde se nádor nachází pod povrchem.
Druhá část automaticky generuje popis jednotlivých kroků operace z videa. Samotný vision-language model (VLM) na chirurgických záběrech často halucinuje, protože nezná specifické nástroje a anatomii. Proto mu dodáváme strukturovaný kontext. Detekční pipeline rozpozná ve snímcích nástroje a anatomické struktury a z detekcí skládáme triplety ve tvaru nástroj – akce – cíl, například nůžky – stříhají – parenchym. VLM z obrazu a tripletů vytvoří srozumitelný popis toho, co se děje, a určí fázi výkonu. Triplety slouží jako ukotvení: popis vychází z ověřených detekcí, je přesnější a ke každé větě lze dohledat, z čeho vznikla.
Hlavním využitím je výuka. Rezident prochází záznam operace s automatickým komentářem a 3D modelem a školitel nemusí videa ručně anotovat. Z každé operace tak vzniká výukový materiál. Tento režim pracuje nad záznamy, nezasahuje do průběhu operace a je proto realisticky nasaditelný i z hlediska regulace. Zpracování může běžet lokálně v nemocnici, takže data pacientů neopouštějí její síť. Pro kvalitnější popis ovšem bude nadále potřeba expertízy. Vstupy jsou standardní (DICOM a video z robotického systému). Řešení lze postupně rozšířit na intraoperační podporu, kde by chirurg v reálném čase viděl polohu nádoru a aktuální fázi výkonu.
Inovaci vidíme ve spojení 3D modelu z CT s potenciállně i real-time obrazem z kamery operačních nástrojů.Mimo to vidíme potenciál pro generativní model, který díky tomu dává spolehlivější a vysvětlitelný výstup.
- Měli už předtím
- Udělali jsme rešerši a našli potencionálně vhodné datasety a modely.
- Využití AI
- Z běžného CT uděláme 3D model bez ruční práce. Renal-Net (nnU-Net z KiTS) najde ledvinu a nádor, TotalSegmentator okolní orgány. Co modely neumí, dopočítají naše algoritmy: tepny od aorty po větve, žíly, dutý systém, tuk, a fáze CT sesadíme s chybou pod 1 mm. Z masek měříme objem nádoru, vzdálenost k cévám a dutému systému a skóre R.E.N.A.L. a PADUA. Chirurg dostane interaktivní 3D s 90 strukturami.
Video z robota: YOLO (nástroje), DINOv3 (tkáně, šití), SAM 2.1 sleduje ledvinu a nádor, z toho časová osa fází a české titulky (VLM Gemma 4). Hlas běží lokálně (Whisper, Piper), dotaz pro Heralta upraví LLM DeepSeek.
Kontrola chyb: Gemma 4 vybírá jen z pevného slovníku, jinak platí pravidla nad výstupy modelů. Každé číslo nese zdroj a typ (měření, skóre, aproximace), co nevíme, je „neurčeno“. Heralt odpoví, jen když jeho čísla sedí s daty CT. Ischemii a zprávu potvrzuje chirurg. Stránka „Jak moc tomu věřit“ ukazuje, na čem byl který model testován. Data: 8 pacientů FN Olomouc. - Dopad
- 3D model nádoru si dnes nemocnice kupuje od zahraničních firem. My ho z běžného CT uděláme automaticky za 1,5–2 hodiny výpočtu na obyčejné grafické kartě, bez ruční segmentace a bez poplatku za případ. Česko má přes 3 200 nových nádorů ledviny ročně a robota skoro každá krajská nemocnice: model tak může mít každý pacient, ne jen vybraní.
Proč na tom záleží: s 3D modelem chirurgové dvakrát častěji svorkují jen větev tepny nebo vůbec (32 % vs 16 %) a častěji nádor jen vyloupnou (Grosso 2024). V randomizované studii měli pacienti bez modelu asi 2× vyšší šanci na krvácení nad 200 ml a 3× na delší hospitalizaci (Shirk 2019).
Na sále chirurg nesundá ruce z konzole: hlasem otočí model, spustí časovač teplé ischemie a zeptá se na hodnotu z CT. Po operaci se fáze, časy a návrh zprávy složí ze záznamu, chirurg jen schválí.
Další krok: validace s FN Olomouc a přiložení modelu do videa robota. - Komu pomůže
- Lékaři a sestry, Výzkum, Někdo jiný
- Technologie InterSystems
- Ne
- Tým
- Sněženky a Michal — Michal Heralt, Adam Vrána, Adam Mikoláš, Tomáš Drkoš
- Výzva
- AI Surgical Copilot · Ostrava