We monitor the condition of cancer patients between check-ups and track side effects using a simple, adaptive questionnaire and smartwatches.
We have developed an integrated system for the ongoing monitoring of cancer patients during their treatment. Patients use a mobile app to regularly answer questions about their health. The doctor receives information on the progression of symptoms and related data, as well as questions regarding the patient’s health, and generates structured summaries for doctors with links to the source records. Via a web interface, the doctor can view the progression of the patient’s symptoms over time, as well as significant changes in their biomarkers from the smartwatch, which are automatically assessed to determine whether they are significant enough to be reported to the doctor. The doctor can customise the level of detail they wish to see for each patient. They can also view the patient’s medication and any adverse effects. The aim is to make it easier for patients to describe their symptoms and for doctors to understand how these are progressing. How the solution works: Adaptive questionnaire The patient first answers eight basic questions with a ‘yes’ or ‘no’. The AI then generates open-ended questions based on:
- The patient’s previous answers
- Medical history and medication
- Available clinical guidelines The questions thus adapt dynamically to the patient’s current symptoms. Voice control and accessibility: The app allows questions to be read aloud and enables responses via voice or text. Voice recordings are saved alongside a transcript. Simple control via swipe gestures, with large interactive elements. Medical interface The web application provides an overview of response history, laboratory results, medication, smartwatch data and alerts based on clinical rules. AI generates summaries that undergo a check of references and citations from the sources used. Data used
- Clinical data (FHIR): Pseudonymised records from the hackathon dataset, including documentation, laboratory results and medication.
- Garmin: Sample data on activity, heart rate, stress, respiration and oxygen saturation.
- ESMO: Structured criteria for adverse effects of immunotherapy.
- Questionnaire: Patient responses, voice recordings and their transcriptions.
- Synthetic data: Model patients and scenarios for demonstration and automated testing. Some of the demonstration trends are modelled and do not represent the results of a clinical trial. What we have created The result is a working prototype that integrates:
- Flutter: A mobile app for patients.
- Python API: Backend and communication between components.
- InterSystems IRIS for Health: Storage of clinical data via FHIR.
- Web interface: Health status overview for doctors.
- AI: Adaptive questioning and summary generation.
- Garmin: Integration of data from smartwatches. We have also implemented the resumption of interrupted questionnaires, submission without duplicates, automated integration tests and experimental analysis of audio events, which is not intended for the diagnosis of breathlessness. Next steps We are planning a pilot trial with patients and oncologists, expert approval of the rules for escalating symptoms, and an evaluation of the system’s benefits. Further development includes the integration of hospital systems, secure login, access control, support for other types of treatment, and verification of the usability of voice and wearable sensors.
- Had before
- nic
- Use of AI
- AI využíváme k adaptivnímu dotazování onkologických pacientů během léčby. Jazykový model vytváří navazující otázky podle předchozích odpovědí, zdravotní historie, medikace a dostupných klinických pravidel. Pacient může odpovídat hlasem; rozpoznávání řeči převádí odpověď na text a syntéza řeči předčítá otázky. AI také připravuje souhrny pro lékaře s odkazy a přesnými citacemi podkladových záznamů. Výstupy kontrolujeme vůči zdrojům a pravidlům, přičemž nepodložené návrhy odmítáme. AI slouží jako podpora sběru a vyhodnocení informací; rozhodování o péči zůstává na lékaři.
- Impact
- Projekt může pomoci dříve zachytit zhoršení zdravotního stavu a nežádoucí účinky onkologické léčby mezi pravidelnými kontrolami. Pacientům nabízí jednoduchý způsob, jak průběžně popsat obtíže, včetně možnosti hlasových odpovědí. Lékařům poskytuje přehled vývoje příznaků, souhrny odpovědí a související údaje ze zdravotní dokumentace a chytrých hodinek. Může tak zkrátit čas potřebný k orientaci v záznamech, podpořit cílenější komunikaci a pomoci určit, kterým pacientům věnovat pozornost přednostně. Dlouhodobě může přispět k lepší kontinuitě péče a kvalitě života během léčby. Skutečný přínos a bezpečnost je třeba ověřit v pilotním provozu s pacienty a zdravotníky.
- Who benefits
- Patients and their families, Doctors and nurses, Hospitals and care providers, Research
- InterSystems technologies
- Yes — InterSystems IRIS for Health používáme jako centrální databázi. Přes FHIR REST API ukládáme a načítáme pacientské záznamy, medikaci, laboratorní výsledky, data z Garminu, odpovědi a nahrávky. V SQL tabulkách evidujeme stav zpracování a metadata AI běhů. Pythonový AI modul využívá data z IRIS k tvorbě navazujících otázek a souhrnů pro lékaře.
Machine translation from Czech
- Team
- Cheirón — Vojtěch Vondráček, Ondřej Kodejš, Aleksandra Bajić, Radim Průdek
- Challenge
- Digital adverse-event watchdog · Prague