Pomáháme chirurgům lépe se orientovat při odstraňování nádorů propojením 3D anatomie pacienta s obrazem z operační kamery.
RenalPilot – AI chirurgický copilot
RenalPilot je AI asistent pro robotické operace nádorů ledvin. Propojuje 3D anatomii pacienta s obrazem z operační kamery, pomáhá chirurgům orientovat se v anatomii nádoru, sledovat průběh operace a automatizovat tvorbu operační dokumentace.
Jak funguje a co umí
-
Před operací: Systém zpracovává CT snímky ve formátu DICOM a pomocí AI segmentuje ledvinu, nádor a okolní anatomické struktury. Z dat vytváří interaktivní 3D model pro předoperační plánování. Chirurg může výsledky AI zkontrolovat a upravit.
-
Během operace: Systém analyzuje video z operační kamery a odhaduje aktuální fázi výkonu. Zobrazuje živý obraz, fázi operace a časovač teplé ischemie. Hlasové ovládání umožňuje zaznamenávat důležité události bez použití rukou. Naším cílem je propojit 3D model s obrazem kamery a usnadnit orientaci v anatomii přímo během zákroku.
-
Po operaci: RenalPilot vytváří časovou osu fází synchronizovanou s videem a generuje návrh operačního protokolu včetně času teplé ischemie. Chirurg může automatické odhady opravit.
Data a technologie Projekt vzniká ve spolupráci s Urologickou klinikou FN Olomouc. Využíváme pseudonymizovaná CT data a operační záznamy. Pro segmentaci používáme předtrénované modely TotalSegmentator a MONAI VISTA3D. Analýza fází vychází z vizuálních signálů a odborné literatury, včetně studie De Backer et al. (2023). Hlasové ovládání využívá faster-whisper. Backend tvoří FastAPI a PostgreSQL, frontend Next.js a React Three Fiber.
Prototyp již propojuje zpracování CT, 3D vizualizaci, odhad fází operace a tvorbu protokolu. Zatím však není klinicky validován ani určen pro samostatné rozhodování o léčbě.
Další vývoj Zde na hackathonu naše cesta nekončí. Chceme zvýšit přesnost rozpoznávání fází, rozšířit datovou základnu a vyvinout automatické propojení 3D anatomie s operačním videem. Následovat bude klinická validace a příprava na regulatorní požadavky pro zdravotnické prostředky. Naší vizí je propojit plánování, podporu orientace během operace a následnou dokumentaci do jednoho inteligentního systému.
- Měli už předtím
- Před samotným vývojem jsme připravili produktový návrh, definovali hlavní funkce a uživatelské postupy, připravili repozitář a zpracovali plán projektu. Součástí přípravy byla také analýza a validace problému a navrhovaného řešení, základní business validace, odhad nákladů na dokončení produktu a rozdělení úkolů a odpovědností v týmu. Díky tomu jsme měli stanovený směr vývoje, priority i základní představu o dalším rozvoji projektu.
- Využití AI
- AI využíváme v několika fázích chirurgického procesu. Před operací zpracováváme CT snímky pomocí předtrénovaných modelů pro segmentaci anatomických struktur a vytváříme 3D model ledviny, cév a nádoru. Během operace analyzujeme obraz z operační kamery a odhadujeme aktuální fázi výkonu. Pro bezdotykové ovládání 3D modelu využíváme MediaPipe a rozpoznávání gest rukou, díky čemuž lze model otáčet a prohlížet bez nutnosti dotýkat se klávesnice. Součástí řešení je také hlasové ovládání. Po operaci systém vytváří časovou osu výkonu a návrh operačního protokolu. Výstupy zůstávají pod kontrolou chirurga, který je může zkontrolovat a upravit.
- Dopad
- RenalPilot může zlepšit orientaci chirurgů v anatomii nádoru, usnadnit sledování průběhu operace a omezit administrativní zátěž zdravotníků. Propojením CT dat, 3D modelu a obrazu z operační kamery chceme chirurgům poskytnout lepší přehled o anatomii pacienta přímo během zákroku. Automatizace dokumentace může ušetřit čas zdravotnickému personálu a strukturovaná data z operací mohou podpořit klinický výzkum. Dlouhodobě chceme přispět k efektivnějšímu plánování a vyhodnocování chirurgických výkonů, a tím potenciálně zlepšit kvalitu péče o pacienty. Klinický přínos bude nutné ověřit dalším vývojem a validací.
- Komu pomůže
- Pacienti a jejich blízcí, Lékaři a sestry, Nemocnice a poskytovatelé péče, Výzkum
- Technologie InterSystems
- Ne
- Tým
- Prestige — Jiří Posavád, Hlib Arseniuk, Pavel Polívka, Ondřej Široký
- Výzva
- AI Surgical Copilot · Ostrava