Chirurgický AI kopilot převádí CT do 3D modelu a promítá ho do da Vinci konzole pro přesné vyříznutí nádoru ledviny a záchranu tkáně.
Co to dělá
Při robotické resekci ledviny chirurg hledá nádor, který často není vidět, a odhaduje, kde vedou cévy a kalichopánvičkový systém. Náš kopilot vezme předoperační CT, udělá z něj 3D model a ten promítne přímo do obrazu z kamery robota da Vinci, který se pohybuje s ledvinou.
Jak to funguje
1. CT → 3D model (pár minut, jeden příkaz). TotalSegmentator, nnU-Net (KiTS19) a BA-Net (KiPA22) vysegmentují ledvinu, nádor, tepny, žíly a kalich. Nádor od cysty odlišíme podle sycení kontrastem. Aplikace spočítá velikost, objem, R.E.N.A.L. skóre, polohu nádoru slovy a živě ukáže resekční okraj 0–10 mm. Měření, CT řez vedle modelu, pohledy z přístupu (zepředu, z boku, zezadu), export GLB/STL a tisk shrnutí na sál.
2. Model ve videu. SAM 2 najde ledvinu, model se do obrazu usadí automaticky (diferencovatelné renderování, cévní kličky, nástroje jako pravítko hloubky) a CoTracker3 + PnP ho sleduje v 6 stupních volnosti. Když si systém není jistý, model zeprůhlední nebo zmizí – raději nic než špatně.
3. Chirurg má poslední slovo. Kdykoli model rukou posune a otočí. Jeho klíčové snímky jsou ground truth: sledování se z nich přepočítá za ~6 s na běžném CPU a model jimi přesně prochází.
4. Průběh operace. Fáze operace z obrazu (DINOv2 + uspořádaný dekodér) a čas teplé ischemie: dva nezávislé detektory svorky se musí shodnout, jinak systém mlčí. Časovač zežloutne ve 20 min a zčervená ve 25 min.
Data
8 anonymizovaných vyšetření (7 CT, 1 MR) a 4 záznamy robotických operací z FN Olomouc. Výpočty lokálně a na pronajatých GPU v EU, žádná pacientská data v gitu.
Výsledky
- 3D modely pro všech 8 pacientů
- Umístění nádoru do videa: medián 5,7 mm na snímcích, na kterých se nic neladilo (nejlepší publikovaná automatická metoda 7,3 mm). Zatím jen jeden pacient a 8 snímků.
- Živé sledování: 25–30 snímků/s, zpoždění p95 pod 45 ms na jedné RTX 3090.
- Fáze 88 % sekund, svorka nalezena u 2 ze 4 videí do 21 s, žádný falešný poplach.
- Referencí jsou dvojí nezávislé AI anotace, ne chirurg.
- Měli už předtím
- nic
- Využití AI
- CT → 3D: TotalSegmentator, nnU-Net (KiTS19) a BA-Net (KiPA22) segmentují ledvinu, nádor, cévy a kalich; z toho model a R.E.N.A.L. skóre.
Video z robota: SAM 2 (maska ledviny), DINOv2 (najde ledvinu, určí fázi operace), CoTracker3 + PnP (sledování polohy 6-DoF), SAM 3 a YOLO11 (nástroje jako měřítko hloubky), SurgeNetXL (svorka → čas ischemie).
LLM: Claude (Opus) v Claude Code se subagenty psal a testoval kód a označil ~1 000 snímků (fáze, ledvina, nádor); Grok a Kimi jako kontrolní anotátoři.
Data: 8 anonymizovaných CT/MR a 4 videa z FN Olomouc; výpočty lokálně a na pronajatých EU GPU, snímky k anotaci jen Claude a modely v Azure hackathonu, nic v gitu.
Proti chybám: testovací snímky mimo trénink, každý anotovaný 2× nezávisle, platí jen shoda; trénink vždy bez testovaného pacienta; shoda s radiologem (nádor 82 vs 80 mm). Aplikace model skryje, když si tracker není jistý, a chirurg má poslední slovo - Dopad
- Záchrana funkce ledviny a prevence dialýzy: Čas teplé ischemie (WIT) je klíčový, protože každá minuta nad 20–25 min nevratně ničí nefrony.
Nižší náklady a edukace: Automatický audit zrychluje křivku učení začínajících operatérů a nemocnici šetří statisíce až miliony Kč za komplikace, reoperace a následnou dialyzační péči.
Kognitivní odlehčení pro chirurga. - Komu pomůže
- Pacienti a jejich blízcí, Lékaři a sestry
- Technologie InterSystems
- Ne
- Tým
- Až na měsíc — Josef Bednář, Markéta Zemanová
- Výzva
- AI Surgical Copilot · Ostrava