Aplikace AI Surgical Copilot propojuje předoperační CT s chirurgickým videem při roboticky asistované parciální nefrektomii.
https://code.it4i.cz/medical_imaging/ai_surgical_copilot
AI Surgical Copilot propojuje předoperační CT s chirurgickým videem při roboticky asistované parciální nefrektomii. Z CT segmentujeme ledvinu, nádor a cysty (nnU-Net, KiTS) a hlavní cévy (TotalSegmentator) a měříme objem nádoru, průměr, stranu, pól a exofytický podíl. Z videozáznamu sestavujeme časovou osu fází (zero-shot PeskaVLP), sledujeme nástroje (SAM 3.1) a segmentujeme orgány (SegFormer vyladěný na EndoVis18). První ruční překrytí umístí 3D model na video. Vše se zobrazuje na jednom interaktivním panelu.
Problém: Při RAPN musí chirurg propojit předoperační CT s tím, co ukazuje kamera: kde se nachází nádor, jak hluboko leží a kde jsou cévy. Dnes to dělají v duchu, přičemž zároveň sledují fázi operace a dobu ischémie.
Řešení / co jsme vytvořili:
Z CT k 3D modelu: segmentace ledviny, nádoru a cysty u 3 pacientů z CT pomocí předtrénované sítě KiTS nnU-Net. Jako křížovou kontrolu jsme také od základu trénovali naši vlastní síť nnU-Net na datovém souboru KiTS23 (uvádíme shodu mezi oběma sítěmi, nikoli přesnost). Aorta, dolní dutá žíla (IVC) a kyčelní cévy pocházejí z TotalSegmentatoru. Měření: objemy, maximální průměr nádoru, strana, pól a exofytický podíl. Fáze operace: časová osa typu „zero-shot“ z modelů pro zpracování jazyka chirurgických videí. PeskaVLP poskytuje hrubou časovou osu ve správném pořadí a spolehlivě rozpoznává ultrazvuk, šití a sáček na vzorek. Nástroje: segmentace a sledování na základě textových podnětů pomocí SAM 3.1, ve srovnání s Grounding DINO + SAM 2. Masky se vytrácejí, když klesá spolehlivost. Orgány ve videu: SegFormer-B5 vyladěný na datovém souboru EndoVis18. Nástroje jsou spolehlivě rozpoznány a ledvina je nalezena v pozdějších fázích. CT na videu: ručně zarovnaný 3D model ledviny a nádoru překrytý na endoskopickém videu. Dashboard: aplikace Streamlit a offline HTML verze v jediném souboru (funguje bez připojení k síti). Technologie: Python, PyTorch, nnU-Net v1/v2, TotalSegmentator, SAM 3.1, SAM 2.1, Grounding DINO, SegFormer (Hugging Face), SurgVLP/HecVL/PeskaVLP, VTK/PyVista, 3D Slicer, Blender, Streamlit, Plotly. Spuštěno na HPC clusteru s GPU A100.
Data: 4 pacienti (CT/MRI + kompletní RAPN videa, každé o délce přibližně 2,5 hodiny), pseudonymizovaná. Veřejné datové sady: KiTS23, EndoVis18, Nephrec9.
Omezení (upřímně řečeno): Pro naše pacienty neexistuje referenční data, takže výsledky vycházejí z vizuální kontroly a shody modelů. CT modely nefungují na MRI snímcích. Zatím neexistuje segmentace renální tepny ani žíly. Rozpoznávání orgánů ve videu trpí rozdíly mezi prasečí a lidskou anatomií. Překrytí je ruční vizuální zarovnání, nikoli kalibrovaná registrace.
Další kroky:
Segmentace renální tepny a žíly (nejcennější doplněk pro plánování). Anotace fází, abychom mohli trénovat model s dohledem na základě uložených PeskaVLP vnoření. 100 až 200 anotovaných snímků RAPN pro doladění segmentace orgánů. Kalibrace kamery a registrace překryvu na základě orientačních bodů nebo povrchu. Validace proti anotacím radiologů.
- Měli už předtím
- Pretrained models and public datasets.
- Využití AI
- AI powers every stage of our pipeline:
CT to 3D model: nnU-Net (pretrained on KiTS and trained from scratch on KiTS23) and TotalSegmentator segment kidneys, tumors, cysts and major vessels. We calculate tumor volume, diameter, location and exophytic share.
Surgical phases: PeskaVLP, compared with HecVL and SurgVLP, classifies video frames into surgical phases using text prompts, enabling zero-shot timeline generation.
Instrument tracking: SAM 3.1 segments and tracks instruments from text prompts, with confidence-based mask filtering.
Organs in video: A SegFormer-B5 model, fine-tuned on EndoVis18, segments kidneys, fat, bowel and instruments.
CT-to-video overlay: We project the CT-derived 3D model onto surgical video; alignment is currently manual, with automatic registration planned.
AI supports, not replaces, clinical decisions. We report model agreement where ground truth is unavailable and clearly communicate limitations. - Dopad
- https://code.it4i.cz/medical_imaging/ai_surgical_copilot/
The project could support surgeons during robot-assisted partial nephrectomy by combining preoperative CT with surgical video. A 3D model of the kidney, tumor and vessels could help plan resection margins, avoid vessel injury and locate hidden endophytic tumors, preserving healthy kidney tissue.
Automatic surgical phase recognition could identify critical steps, such as hilar clamping, and track warm ischemia time, helping surgeons monitor a time-sensitive factor affecting kidney recovery.
Before surgery, automated tumor measurements and 3D models could improve planning, team discussions and patient communication. After surgery, searchable videos with phase timelines and instrument tracking could support teaching, case review and objective skill assessment.
For research, structured video data could enable better AI models, while open-source tools could support reproducibility across hospitals. - Komu pomůže
- Pacienti a jejich blízcí, Lékaři a sestry, Nemocnice a poskytovatelé péče, Zdravotní pojišťovny, Výzkum
- Technologie InterSystems
- Ne
Strojový překlad z angličtiny
- Tým
- OncoMedViz — Khyati Sethia, Petra Svobodová, Nikola Cudráková
- Výzva
- AI Surgical Copilot · Ostrava