We help surgeons navigate more effectively when removing tumours by linking the patient’s 3D anatomy with the image from the surgical camera.
RenalPilot – AI surgical co-pilot
RenalPilot is an AI assistant for robotic kidney tumour surgery. It links the patient’s 3D anatomy with the image from the surgical camera, helping surgeons to navigate the tumour’s anatomy, monitor the progress of the operation and automate the creation of surgical documentation.
How it works and what it can do
-
Before surgery: The system processes CT scans in DICOM format and uses AI to segment the kidney, the tumour and the surrounding anatomical structures. It creates an interactive 3D model from the data for pre-operative planning. The surgeon can review and adjust the AI’s results.
-
During surgery: The system analyses video from the surgical camera and estimates the current stage of the procedure. It displays a live feed, the stage of the operation and a warm ischaemia timer. Voice control allows important events to be recorded hands-free. Our aim is to link the 3D model with the camera feed and facilitate navigation of the anatomy directly during the procedure.
-
Post-operation: RenalPilot creates a timeline of the stages synchronised with the video and generates a proposed surgical protocol, including the duration of warm ischaemia. The surgeon can correct the automatic estimates.
Data and technology The project is being developed in collaboration with the Department of Urology at Olomouc University Hospital. We use pseudonymised CT data and surgical records. For segmentation, we use the pre-trained models TotalSegmentator and MONAI VISTA3D. The analysis of surgical phases is based on visual cues and the specialist literature, including the study by De Backer et al. (2023). Voice control utilises Faster-Whisper. The backend consists of FastAPI and PostgreSQL, whilst the frontend uses Next.js and React Three Fiber.
The prototype already integrates CT processing, 3D visualisation, estimation of surgical phases and the generation of a surgical report. However, it has not yet been clinically validated nor is it intended for independent treatment decision-making.
Further development Our journey does not end here at the hackathon. We aim to improve the accuracy of phase recognition, expand the dataset and develop automatic alignment of 3D anatomy with surgical video. This will be followed by clinical validation and preparation for regulatory requirements for medical devices. Our vision is to integrate planning, in-operative navigation support and post-operative documentation into a single intelligent system.
- Had before
- Před samotným vývojem jsme připravili produktový návrh, definovali hlavní funkce a uživatelské postupy, připravili repozitář a zpracovali plán projektu. Součástí přípravy byla také analýza a validace problému a navrhovaného řešení, základní business validace, odhad nákladů na dokončení produktu a rozdělení úkolů a odpovědností v týmu. Díky tomu jsme měli stanovený směr vývoje, priority i základní představu o dalším rozvoji projektu.
- Use of AI
- AI využíváme v několika fázích chirurgického procesu. Před operací zpracováváme CT snímky pomocí předtrénovaných modelů pro segmentaci anatomických struktur a vytváříme 3D model ledviny, cév a nádoru. Během operace analyzujeme obraz z operační kamery a odhadujeme aktuální fázi výkonu. Pro bezdotykové ovládání 3D modelu využíváme MediaPipe a rozpoznávání gest rukou, díky čemuž lze model otáčet a prohlížet bez nutnosti dotýkat se klávesnice. Součástí řešení je také hlasové ovládání. Po operaci systém vytváří časovou osu výkonu a návrh operačního protokolu. Výstupy zůstávají pod kontrolou chirurga, který je může zkontrolovat a upravit.
- Impact
- RenalPilot může zlepšit orientaci chirurgů v anatomii nádoru, usnadnit sledování průběhu operace a omezit administrativní zátěž zdravotníků. Propojením CT dat, 3D modelu a obrazu z operační kamery chceme chirurgům poskytnout lepší přehled o anatomii pacienta přímo během zákroku. Automatizace dokumentace může ušetřit čas zdravotnickému personálu a strukturovaná data z operací mohou podpořit klinický výzkum. Dlouhodobě chceme přispět k efektivnějšímu plánování a vyhodnocování chirurgických výkonů, a tím potenciálně zlepšit kvalitu péče o pacienty. Klinický přínos bude nutné ověřit dalším vývojem a validací.
- Who benefits
- Patients and their families, Doctors and nurses, Hospitals and care providers, Research
- InterSystems technologies
- No
Machine translation from Czech
- Team
- Prestige — Jiří Posavád, Hlib Arseniuk, Pavel Polívka, Ondřej Široký
- Challenge
- AI Surgical Copilot · Ostrava