KI-Avatar beim 141. Deutschen Chirurgie Kongress (DCK 2024)
Industrie: Gesundheitswesen
Das Projekt
In Zusammenarbeit mit apoQlar haben wir einen modernen KI-Avatar entwickelt, der vom 23. bis 26. April 2024 während des 141. Deutschen Chirurgie Kongress (DCK 2024) im Kongresszentrum Leipzig präsentiert wurde. Das Hauptziel des KI-Avatars war es, eine innovative Schnittstelle zur Interaktion mit den Kongressbesuchern zu schaffen, Informationen über die Veranstaltung, den Hauptorganisator zu liefern und Fragen zum Veranstaltungsprogramm zu beantworten – alles über Sprachinteraktion. Der Avatar wurde in zwei Formaten präsentiert: auf einem großen Bildschirm mit Mikrofon und in Virtual Reality unter Verwendung des Meta Quest 3-Headsets.
Herausforderungen
Im Verlauf unseres Projekts ergaben sich einige Herausforderungen, die innovative Lösungen und sorgfältige Planung notwendig machten:
- Kommunikationsbarrieren: Der Veranstaltungsort war extrem laut, mit zahlreichen Ständen und Besuchern überfüllt, was eine klare Kommunikation erschwerte.
- Latenz: Es war entscheidend, die Latenz zu minimieren, um flüssige, echtzeitnahe Gespräche mit dem Avatar zu gewährleisten.
- Sitzungsplanung: Bei einem dicht gedrängten Programm mit vielen parallelen Veranstaltungen war es erforderlich, die Sitzungsempfehlungen präzise und effizient zu handhaben.
Lösung
Um die während des Projekts aufgetretenen Herausforderungen effektiv zu bewältigen, implementierten wir eine umfassende Lösungsarchitektur unter Einsatz modernster Technologie:
- Fortgeschrittene Sprachmodelle: Wir setzten große Sprachmodelle (LLMs) für ein verbessertes Verständnis und Generierung natürlicher Sprache ein.
- Optimierte Sprachmodelle: Die schnellsten Text-zu-Sprache- und Sprache-zu-Text-Modelle wurden verwendet, um nahtlose verbale Interaktionen zu gewährleisten.
- Effizientes Kommunikationssystem: Web-Sockets und ein Nachrichtenwarteschlangensystem wurden implementiert, um eine effiziente Kommunikation zwischen allen Komponenten zu ermöglichen, mit teilweiser Parallelisierung zur Reduzierung der Latenz.
- Intelligentes Abrufsystem: Wir integrierten einen Funktionsaufrufmechanismus mit einer Retrieval-Augmented-Generation-(RAG)-Architektur, um zusätzliche Informationen zu verwalten und präzise Antworten zu liefern.
- Geräuschreduzierungstechniken: Professionelle Mikrofone und softwarebasierte Anpassungen wurden verwendet, um Geräusche zu mindern und die Leistung in der lauten Kongressumgebung zu verbessern.
Technologische Insights
Der Erfolg des KI-Avatars wurde vor allem der nahtlosen Integration mehrerer fortschrittlicher Technologien zugeschrieben:
- Große Sprachmodelle (Large Language Models, LLMs): Diese Modelle ermöglichten ein ausgefeiltes Verständnis und die Generierung menschlicher Sprache, was für die Kernfunktionalitäten des Systems entscheidend war.
- Text-to-Speech und Speech-to-Text Modelle: Diese Technologien boten schnelle und natürlich klingende Sprachsynthese sowie präzise Spracherkennungsfähigkeiten, die die Benutzerinteraktionen verbesserten.
- Web Sockets und Message Queue Systeme: Diese Komponenten gewährleisteten effiziente, echtzeitfähige Kommunikationsfähigkeiten und minimierten die Latenz durch effektive Parallelverarbeitungstechniken.
- Function Calling Mechanism und Retrieval-Augmented Generation (RAG) Architektur: Diese Technologien ermöglichten eine dynamische Informationsabrufung und präzise Antworten, die die interaktiven Fähigkeiten des Avatars erheblich verbesserten.
- Professionelle Audioausrüstung: Diese wurde mit spezialisierten Softwareanpassungen integriert, um laute Umgebungen effektiv zu bewältigen und unter verschiedenen Bedingungen eine klare Audioausgabe zu gewährleisten.
Dank dieses Ansatzes konnten wir einen KI-Avatar entwickeln, der die Erwartungen der Kongressteilnehmer erfüllte und ein ansprechendes Interaktionserlebnis ermöglichte.
Kontaktieren Sie uns
Wie können wir Ihnen behilflich sein? Bitte schildern Sie uns kurz Ihr Projekt, damit wir Ihnen bestmöglich weiterhelfen können.