HealthTech · Wydarzenia i konwersacyjna AI
Awatar, który odpowiada na pytania gości, gdy punkt informacyjny nie nadąża
Na XPOMET Medicinale 2024 w Lipsku wdrożyliśmy Paulę, sterowanego głosem awatara AI, który w czasie rzeczywistym odpowiadał na pytania gości, pomagał im poruszać się po wydarzeniu i polecał wystawców. Paulę zbudowaliśmy razem z Johannesstift Diakonie. W hałaśliwej, mocno obleganej hali konferencyjnej przejęła pracę, do której inaczej trzeba by osobnego personelu informacyjnego.
Kluczowe rezultaty
Klient: Johannesstift Diakonie
Johannesstift Diakonie Services GmbH na XPOMET Medicinale 2024 w Lipsku, jednej z czołowych europejskich konferencji o innowacjach w ochronie zdrowia.
- Branża
- HealthTech i wydarzenia
- Zastosowanie
- Awatar AI do obsługi gości
- Podejście AI
- LLM z przetwarzaniem mowy i function calling
- Języki
- Angielski i niemiecki, rozpoznawane automatycznie
- Środowisko
- Konferencja na żywo, wysoki poziom hałasu
- Partner
- Johannesstift Diakonie
W skrócie
Czego punkt informacyjny nie zrobi w godzinach szczytu
- XPOMET Medicinale to dziesiątki wystawców, napięty program prezentacji i międzynarodowa publiczność w jednej zatłoczonej, głośnej hali.
- Znalezienie stoiska, sprawdzenie godziny sesji czy pytanie o firmę to zwykle zadanie dla punktu informacyjnego z obsługą. Taki punkt jest drogi, działa nierówno i nie nadąża, gdy wszyscy przychodzą naraz.
- Paula przyjmuje pytanie zadane na głos, po angielsku lub po niemiecku, i odpowiada na podstawie pełnej bazy danych wydarzenia: informacji o wystawcach, programu i lokalizacji stoisk.
- Włącza się na „Hallo Paula” dzięki rozpoznawaniu słowa aktywującego na samym urządzeniu, pokazuje na ekranie logotypy właściwych wystawców, a wszystko spoza programu potrafi wyszukać w sieci na żywo.
Punkt wyjścia
Wyzwanie
Zbudować interaktywnego asystenta, który podczas konferencji na żywo odpowiada gościom w czasie rzeczywistym i w więcej niż jednym języku, a przy tym zastępuje ręczną obsługę punktu informacyjnego.
XPOMET Medicinale to duża konferencja o innowacjach w ochronie zdrowia, z dziesiątkami wystawców, napiętym programem prezentacji i zróżnicowaną, międzynarodową publicznością. Uczestnicy muszą znaleźć konkretne stoiska, sprawdzić harmonogram i dowiedzieć się czegoś o firmach i sesjach, a wszystko to w ruchu, w głośnej i zatłoczonej przestrzeni.
Zwykle potrzebny jest do tego osobny personel w punktach informacyjnych, czyli ludzie, którzy znają cały program wydarzenia, szczegóły dotyczące wystawców i układ obiektu. Taka obsada jest droga, pracuje nierówno i nie daje się skalować, gdy w szczycie wszyscy przychodzą naraz albo zmienia się sesja.
Zadanie polegało na tym, by zastąpić ją czymś, z czym gość może po prostu porozmawiać.
Budowa
Co zbudowaliśmy
Zbudowaliśmy i wdrożyliśmy Paulę, sterowanego głosem awatara AI ustawionego w strefie Pauls Health Area. Paula nie jest chatbotem na ekranie: to system konwersacyjny, który prowadzi z gościem rozmowę głosową.
Sama rozpoznaje, w jakim języku mówisz
Paula rozpoznaje, czy gość mówi po angielsku, czy po niemiecku, i odpowiada w tym samym języku, bez ręcznego wybierania. Gość może zmienić język w połowie rozmowy, a ona się do tego dostosowuje.
Słowo aktywujące przetwarzane na urządzeniu
Rozmowa zaczyna się od „Hallo Paula”. Model rozpoznający słowo aktywujące działa lokalnie na urządzeniu, więc samo uruchomienie nie wymaga wysyłania dźwięku do chmury. Paula zauważa też, kiedy rozmowa się skończyła, i sama się wyłącza.
Baza danych wydarzenia w zasięgu jednego pytania
Paula ma dostęp do pełnej bazy danych wydarzenia: informacji o wystawcach, programu konferencji, godzin sesji i lokalizacji stoisk. Dzięki function calling w modelu LLM odpowiada na konkretne pytania, np. „które firmy prezentują rozwiązania z zakresu patologii cyfrowej”, i poleca sesje zgodne z zainteresowaniami, o których mówi gość.
Ekran podąża za rozmową
W trakcie rozmowy Paula odczytuje intencję gościa i wyświetla na ekranie logotypy i informacje o właściwych wystawcach. Rozmowa głosowa zamienia się w nawigację wizualną, a właśnie tego potrzebuje ktoś, kto stoi w hali.
Wyszukiwanie w sieci na wszystko inne
Poza tematami wydarzenia Paula odpowiada na pytania ogólne dzięki wyszukiwaniu w sieci na żywo, od pogody w mieście po pytania o konkretne fakty, więc przydaje się nie tylko w sprawach organizacyjnych konferencji.
Co się zmieniło
Rezultaty
Przed
Obsługą gości zajmował się personel punktu informacyjnego. Ograniczona przepustowość w godzinach szczytu, jeden język naraz i brak osobistych rekomendacji.
Po
Awatar odpowiadający na pytania gości w dwóch językach, bez kolejki, z osobistymi rekomendacjami wystawców i nawigacją wizualną, niezależnie od liczby pracowników na miejscu.
Paula rozmawiała z gośćmi przez całe wydarzenie i przekazywała spójne, dokładne informacje bez względu na to, jak duży był ruch. Nikt nie stał w kolejce ani nie przeszukiwał drukowanego programu.
Wielojęzyczność szczególnie dobrze przyjęła międzynarodowa publiczność, a tego jednojęzyczny punkt informacyjny nie zapewni.
Dla wystawców Paula była dodatkowym kanałem, przez który goście do nich trafiali: kierowała ich do właściwych stoisk i sesji zgodnie z tym, czego, jak sami mówili, szukali.
Wdrożenie pokazało też, że awatar konwersacyjny sprawdza się w prawdziwych warunkach, a nie tylko w cichej sali pokazowej: przy hałasie, tłumie i nieprzewidywalnym zachowaniu ludzi.
Pytania o ten projekt
Awatar AI do obsługi gości. Zbudować interaktywnego asystenta, który podczas konferencji na żywo odpowiada gościom w czasie rzeczywistym i w więcej niż jednym języku, a przy tym zastępuje ręczną obsługę punktu informacyjnego.
Angielski i niemiecki rozpoznawane automatycznie, zmiana możliwa w trakcie rozmowy: 2 języki. Rozmowa głosowa w czasie rzeczywistym w hałaśliwej hali konferencyjnej: Na żywo. Słowo aktywujące rozpoznawane na urządzeniu, nic nie trafia do chmury: Lokalnie. Wyszukiwanie w sieci na żywo, oprócz bazy danych wydarzenia: Web + DB.
LLM z przetwarzaniem mowy i function calling. Wykorzystana technologia: Duże modele językowe (LLM), Speech-to-text, Text-to-speech, Function calling, Lokalne rozpoznawanie słowa aktywującego, Automatyczne rozpoznawanie języka, Wyszukiwanie w sieci na żywo, Awatar AI.
Wykorzystana technologia
Porozmawiaj z zespołem, który to zbudował
Odpowiadamy w ciągu jednego dnia roboczego.
Więcej projektów
Ochrona zdrowia · Organizacja kongresów
Cztery dni pytań od uczestników, na które asystent odpowiadał głosem
Czytaj więcej
Administracja publiczna · Obsługa obywateli
Obywatel pyta własnymi słowami, a jedenastu agentów ustala, kto odpowie
Czytaj więcej
MedTech · Automatyzacja procesów wewnętrznych