Wielojęzyczny awatar AI zastępujący ręczną obsługę gości na konferencji medycznej na żywo

Stworzyliśmy i wdrożyliśmy Paulę – sterowanego głosem awatara AI, umieszczonego w strefie Pauls Health Area na konferencji. Paula nie była prostym chatbotem na ekranie. Był to pełnoprawny system konwersacyjnej AI prowadzący naturalne rozmowy głosowe z gośćmi konferencji.

Automatyczne wykrywanie języka i przełączanie. Paula rozpoznawała, czy gość mówi po angielsku, czy po niemiecku, i odpowiadała w odpowiednim języku – bez konieczności ręcznego wyboru. Goście mogli nawet zmienić język w trakcie rozmowy, a Paula płynnie się dostosowywała.

Aktywacja słowem kluczowym z lokalnym przetwarzaniem. Interakcje rozpoczynały się prostym „Hallo Paula”. Model wykrywający słowo aktywujące działał lokalnie na urządzeniu – do aktywacji nie były wysyłane żadne dane audio do chmury. Paula rozpoznawała również, kiedy rozmowa się kończyła, i automatycznie się dezaktywowała.

Wiedza o wydarzeniu i function calling. Paula miała dostęp do pełnej bazy danych wydarzenia – szczegółów wystawców, programu konferencji, godzin sesji i lokalizacji stoisk. Dzięki function callingowi w LLM mogła odpowiadać na konkretne pytania, takie jak „Które firmy prezentują rozwiązania z zakresu cyfrowej patologii?” czy „Kiedy odbywa się następny panel o AI w diagnostyce?”, oraz udzielać spersonalizowanych rekomendacji na podstawie zainteresowań gości.

Dynamiczna wizualizacja na ekranie. Podczas rozmów Paula rozpoznawała intencje gościa i wyświetlała na ekranie odpowiednie logotypy wystawców oraz dodatkowe informacje – zmieniając interakcję w wizualne doświadczenie nawigacyjne, a nie tylko wymianę głosową.

Wyszukiwanie w sieci w czasie rzeczywistym. Oprócz pytań związanych z wydarzeniem Paula potrafiła odpowiadać na pytania ogólne dzięki wyszukiwaniu w sieci na żywo – od lokalnej pogody po pytania faktograficzne – dzięki czemu była przydatna nie tylko w kontekście logistyki konferencji.