E-Mail-basierte Auftragsverarbeitung zuverlässig mit LLMs

Radaway verarbeitet ein hohes Auftragsvolumen, das über die tägliche Kundenkommunikation eingeht – hauptsächlich per E-Mail. Um diesen Prozess zu modernisieren, führten sie ein LLM-basiertes System ein, das Bestelldaten aus eingehenden Nachrichten automatisch extrahieren sollte.

Die erste Implementierung zeigte deutliches Potenzial – doch im realen Einsatz mit echten Kundenkommunikationen in großem Maßstab wurden Schwächen sichtbar. Bestelldetails wurden gelegentlich falsch interpretiert. Produktreferenzen stimmten nicht immer mit der Datenbank überein. E-Mail-Anhänge – in denen viele Bestellungen als Dateien ankamen – waren überhaupt nicht Teil des automatisierten Prozesses.

Anstatt von Grund auf neu zu beginnen, führten wir eine detaillierte technische Überprüfung des bestehenden Systems durch und konzentrierten uns auf die spezifischen Komponenten, die in der Produktion zu Fehlern führten.

Verfeinerung des Prompt Engineerings. Wir haben die Prompts neu gestaltet, um das LLM zu einer präzisen Auftragsextraktion zu leiten, Mehrdeutigkeiten zu reduzieren und die Genauigkeit zu verbessern. Strukturierte Ausgabeschemata wurden eingeführt, sodass jede LLM-Antwort einem vorhersehbaren, maschinenlesbaren Format entspricht.

Semantisches Produktmatching. Wir integrierten ein Transformer-basiertes semantisches Alignment, um Produktnamen präzise zuzuordnen – auch wenn die Formulierung des Kunden von der Datenbank abwich. Ein abschließender LLM-basierter Validierungsschritt bewertet den Kontext, bevor die Übereinstimmung bestätigt wird, und reduziert so Zuordnungsfehler erheblich.

Verarbeitung von Anhängen. Wir haben das System erweitert, um Bestelldaten sowohl aus E-Mail-Texten als auch aus Anhängen zu extrahieren und damit eine Lücke zu schließen, die zuvor manuelle Bearbeitung erfordert hatte.

E-Mail-Klassifizierung. Ein Intent-Klassifizierungsschritt wurde hinzugefügt, um festzustellen, ob eingehende Inhalte eine neue Bestellung, eine Stornierung oder eine andere Anfrage betreffen – sodass nur relevante Inhalte die Extraktions-Pipeline erreichen.