AI Avatar na 141. Kongresie Niemieckiego Towarzystwa Chirurgicznego
Branża: Healthcare
O projekcie
Współpracując z apoQlar, opracowaliśmy nowoczesnego Avatara AI, który został zaprezentowany w dniach od 23 do 26 kwietnia 2024 r., podczas 141. Kongresu Niemieckiego Towarzystwa Chirurgicznego (DCK 2024) w Centrum Kongresowym w Lipsku. Głównym celem Avatara AI było stworzenie innowacyjnego interfejsu do interakcji z odwiedzającymi kongres, dostarczanie informacji o wydarzeniu, głównym organizatorze oraz odpowiedzi na pytania dotyczące harmonogramu wydarzeń – wszystko to za pośrednictwem interakcji głosowej. Avatar był prezentowany w dwóch formatach: na dużym ekranie z mikrofonem oraz w wirtualnej rzeczywistości za pomocą okularów wirtualnej rzeczywistości Meta Quest 3.
Wyzwania
W trakcie realizacji naszego projektu napotkaliśmy kilka znaczących wyzwań, które wymagały innowacyjnych rozwiązań i starannego planowania:
- Bariery komunikacyjne: Miejsce kongresu było niezwykle hałaśliwe, zatłoczone przez liczne stoiska i odwiedzających, co utrudniało wyraźną komunikację.
- Opóźnienia: Minimalizacja opóźnień była kluczowa, aby zapewnić płynne, rzeczywiste rozmowy z avatarem.
- Planowanie sesji: Ze względu na napięty harmonogram z wieloma równoległymi wydarzeniami, rekomendowanie sesji wymagało precyzyjnego i efektywnego zarządzania informacjami.
Rozwiązanie
Aby skutecznie sprostać wyzwaniom napotkanym podczas projektu, zaimplementowaliśmy kompleksową architekturę rozwiązania wykorzystującą najnowocześniejsze technologie:
- Zaawansowane modele językowe: Wykorzystaliśmy duże modele językowe (LLMs) do poprawy rozumienia i generowania języka naturalnego.
- Zoptymalizowane modele mowy: Najbardziej zaawansowane modele tekst-na-mowę i mowa-na-tekst były używane do zapewnienia płynnych interakcji werbalnych.
- Efektywny system komunikacji: Zaimplementowano web sockety i system kolejkowania wiadomości dla efektywnej komunikacji między wszystkimi komponentami, z częściową równoległością w celu zmniejszenia opóźnień.
- Inteligentny system wyszukiwania danych: Zintegrowaliśmy mechanizm wywoływania funkcji z architekturą typy RAG (ang. Retrieval Augmented Generation), aby wyszukiwać i dodawać do kontekstu najbardziej relewantne informacje oraz generować dokładne odpowiedzi.
- Techniki redukcji szumów: Aby zmniejszyć hałas i poprawić wydajność w hałaśliwym środowisku kongresowym zostały użyte profesjonalne mikrofony i dostosowania na poziomie oprogramowania.
Szczegóły technologiczne
Sukces naszego awatara możliwy był dzięki płynnej integracji wielu zaawansowanych technologii:
- Duże modele językowe (LLMs): Modele te ułatwiły zrozumienie i generowanie języka naturalnego, co było kluczowe dla podstawowych funkcjonalności systemu.
- Modele tekst-na-mowę i mowa-na-tekst: Zapewniły one precyzyjne rozpoznawanie mowy oraz szybką i naturalnie brzmiącą syntezę mowy poprawiając interakcje z użytkownikami.
- Web sockety i systemy kolejek wiadomości: Komponenty te zapewniły efektywną komunikację w czasie rzeczywistym, minimalizując opóźnienia dzięki skutecznym technikom przetwarzania równoległego.
- Mechanizm wywoływania funkcji i architektura RAG: Pozwoliły one na dynamiczne wyszukiwanie informacji i generowanie dokładnych odpowiedzi, znacznie zwiększając interaktywne zdolności awatara.
- Profesjonalny sprzęt audio: Został połączony ze specjalnymi dostosowaniami oprogramowania, aby skutecznie zarządzać hałaśliwymi środowiskami, zapewniając procesowanie audio w różnych warunkach.
Dzięki temu innowacyjnemu podejściu udało nam się stworzyć Awatara AI, który nie tylko spełnił, ale przekroczył oczekiwania uczestników kongresu, zapewniając angażujące interaktywne doświadczenia.
Skontaktuj się z nami
Jak możemy Ci pomóc? Daj nam znać, jeśli masz podobne projekty lub chcesz dowiedzieć się, w jaki sposób sztuczna inteligencja może wspierać Twoje procesy.