Agentní vytváření edukativních krátkých videí ze široké škály zdrojů. Šetříme čas (nejen) zdravotnickým expertům.
Uživatel může do nástroje nahrát veřejnou URL videa (např. podcast na YouTube), vlastní audio a video soubory, dokumenty (PDF, PPTX, HTML), obrázky a grafy, webové stránky nebo vlastní popis videa. Zdroje jsou převedeny do textové podoby a zpracovány LLM modely do scénáře videa. Uživatel vidí přehled jednotlivých scén videa a může v nich v reálném čase upravovat texty. Texty jsou ozdrojované vzhledem ke vstupním podkladům (dokument, strana, čas, citace), případně označené, že je vytvořil model.
Video deterministicky vyrenderuje Remotion (React), takže je reprodukovatelné a každá scéna se dá ručně upravit. Ke každému tvrzení ve videu se ukládá zdroj.
Lze může volit mezi různými předdefinovanými vizuálními styly, případně si je upravovat nebo vytvářet nové. Přimo ve videu může provádět základní editace obsažených vizuálních prvků - duplikace, mazání a přesouvání. Ve stylu "Kreativní" AI naprogramuje animaci každé scény zvlášť. Změny jsou verzovány a lze je vracet. Rozpracované video lze uložit jako koncept a vrátit se k němu později, případně práci smazat nebo publikovat. Tato operace přidá video do sdílené galerie, kde je dostupné ostatním uživatelům aplikace, nebo jej lze stáhnout jako mp4 soubor. Většinu práce na videu lze provádět buď ručními úpravami nebo promptem na AI.
- Měli už předtím
- nic
- Využití AI
- Ve výsledné aplikaci:
- GPT-6.1 Sol přes Microsoft Azure OpenAI: veškeré jazykové zpracování běží na Azure. Model ze zdrojového materiálu (PDF leták, web, text, přepis videa nebo podcastu) shrne obsah a vyplní scénář videa jako strukturovaný JSON nad pevnou knihovnou navržených šablon scén. Stejně tak navrhuje kreativní animace scén a zapracovává úpravy, které lékař zadá v editoru.
- Vision model na Azure: čte naskenované PDF bez textové vrstvy.
- ElevenLabs: český neuronový hlas pro namluvení. Vrací časování po slovech, takže titulky jsou přesně synchronizované s hlasem a právě vyslovované slovo se v nich zvýrazňuje. Dále přepis řeči (Scribe), jednak pro nahraná audia a videa lékařů, jednak pro diktování úprav v editoru.
Při vývoji: aplikaci jsme stavěli s pomocí AI coding agentů a poskytnutý Github Copilot. - Dopad
- Edukační materiály na počkání - žádný měsíc čekání na volný termín grafiků kvůli změně fontu. Šetření času lékařů a nejen nich. Vysoká customizace a snadná editace.
- Komu pomůže
- Pacienti a jejich blízcí, Lékaři a sestry, Nemocnice a poskytovatelé péče, Zdravotní pojišťovny
- Technologie InterSystems
- Ne
- Tým
- TokenPerSecond — Peter Zdravecký, Marek Filip, Samuel Olekšák, Jakub Lorenc
- Výzva
- EduAIttractive · Brno