Mit LLMs und KI-Agenten zu messbar höherer Produktivität

LLMs und KI-Agenten: Was sie können

Viele Unternehmen wollen eigene KI-Systeme aufbauen: interne Chatbots, intelligente Assistenten oder vollständig automatisierte Abläufe auf Basis generativer Sprachmodelle. Oft fehlen dabei Antworten auf zentrale Fragen. Welche technischen Komponenten sind nötig? Wie lässt sich internes Wissen sicher einbinden? Und wie wird daraus ein verlässliches System im Betrieb?

Large Language Models (LLMs) sind KI-Modelle, die auf großen Textmengen trainiert wurden. Sie verstehen, analysieren und erzeugen Sprache. Im Unternehmen kommen sie meist in zwei Varianten zum Einsatz:

• Allgemeine Modelle wie GPT, Claude oder Gemini sind leistungsstark, kennen aber die Daten des Unternehmens nicht.
• Angepasste Unternehmensmodelle binden internes Wissen über Vektordatenbanken oder Retrieval-Augmented Generation (RAG) ein. So beantworten sie Fragen auf Basis von Daten aus SharePoint, CRM-Systemen oder internen Wissensdatenbanken. Für bestimmte Aufgaben lassen sie sich zusätzlich mit internen Daten feinabstimmen (Fine-Tuning).

KI-Agenten erweitern Sprachmodelle um Ziele, Entscheidungslogik und Prozesswissen. Sie reagieren auf Eingaben und übernehmen darüber hinaus eigenständig Aufgaben: Sie recherchieren, bewerten Quellen, fassen Inhalte zusammen, planen Abläufe, passen sich an Zwischenergebnisse an und treffen Entscheidungen. Über Schnittstellen wie APIs, Datenbanken oder ERP-Systeme arbeiten sie mit anderen Systemen zusammen.

Auf den ersten Blick wirken KI-Agenten wie leistungsstarke Chatbots. Ein klassischer Chatbot beantwortet einzelne Fragen oder führt einfache Dialoge. Ein Agent verfolgt ein Ziel und automatisiert ganze Prozesse, ohne dass jeder Schritt angestoßen werden muss. Ein typisches Beispiel ist die Zusammenfassung großer Informationsmengen aus technischen Dokumentationen oder regulatorischen Texten, auch wenn sie Hunderte oder Tausende Seiten umfassen.

Die Komponenten eines KI-Agenten

Ein typischer KI-Agent besteht aus mehreren Bausteinen, die zusammen eine gezielte, eigenständige Informationsverarbeitung ermöglichen:

• Zieldefinition: Am Anfang steht ein klares Ziel, etwa „Fasse die wichtigsten Erkenntnisse aus unseren Projektberichten zusammen“ oder „Analysiere die regulatorischen Anforderungen aus aktuellen Gesetzestexten“.
• Planung: Der Agent zerlegt die Aufgabe in Einzelschritte und plant, welche Informationen er braucht, wo er sie findet und in welcher Reihenfolge er sie verarbeitet.
• Problemlösung mit dem Sprachmodell: Das Modell formuliert Abfragen, verarbeitet Inhalte, erstellt Zusammenfassungen oder Bewertungen und entscheidet, wie es mit den Ergebnissen weitergeht.
• Ausführung: Der Agent arbeitet mit angebundenen Systemen, ruft Inhalte aus Datenbanken und Dokumentenarchiven ab, nutzt APIs und durchsucht interne Wissensquellen.
• Ergebnis und Kommunikation: Am Ende liefert er Berichte, Antworten, Zusammenfassungen oder aufbereitete Daten für nachgelagerte Systeme, als Text, strukturierte Ausgabe oder Visualisierung.
• Kontextspeicher und Feedback: Frühere Schritte, Entscheidungen und Zwischenergebnisse werden gespeichert. Damit arbeitet der Agent konsistent und lernt aus Rückmeldungen.

Wie ein System aus mehreren spezialisierten Agenten im Alltag aussieht, zeigt unsere Referenz RPP Group: Dort sank der Zeitaufwand für Routinearbeit um 70 %.

Was Studien über die Produktivitätsgewinne zeigen

• Harvard Business School und BCG (2023): In einem Feldexperiment mit 758 Beratern der Boston Consulting Group erledigten die Teilnehmenden mit GPT-4 bei geeigneten Aufgaben 12,2 % mehr Aufgaben, arbeiteten 25,1 % schneller und lieferten über 40 % höhere Qualität als die Kontrollgruppe. Bei Aufgaben außerhalb der Fähigkeiten des Modells verschlechterten sich die Ergebnisse dagegen.
• MIT, veröffentlicht in Science (2023): Bei Schreibaufgaben von 453 Fachkräften sank die benötigte Zeit mit ChatGPT um 40 %, die Qualität stieg um 18 %.
• McKinsey (2023): Generative KI könnte jährlich 2,6 bis 4,4 Billionen US-Dollar an wirtschaftlichem Wert schaffen, vor allem in Kundenservice, Marketing und Vertrieb, Softwareentwicklung sowie Forschung und Entwicklung.
• Microsoft und LinkedIn, Work Trend Index (2024): 75 % der Wissensarbeiter nutzen KI bei der Arbeit, 79 % der Führungskräfte halten den Einsatz für entscheidend, um wettbewerbsfähig zu bleiben.

Quellen: Dell'Acqua u. a., Navigating the Jagged Technological Frontier; Noy und Zhang, Experimental Evidence on the Productivity Effects of Generative AI; McKinsey, The economic potential of generative AI; Microsoft, 2024 Work Trend Index

Drei Effizienzhebel in der Praxis

1.Texte und Dokumentation

Angebote, Protokolle, Zusammenfassungen oder FAQ entstehen als Entwurf in Sekunden. Fachleute prüfen und ergänzen, statt bei null anzufangen.

2.Informationsrecherche, intern und extern

Über Vektordatenbanken und RAG greifen Chatbots direkt auf firmenspezifisches Wissen zu, im Kontext und auf dem aktuellen Stand. Mitarbeitende fragen in natürlicher Sprache und bekommen eine Antwort mit Quelle.

3.Prozessautomatisierung mit KI-Agenten

Sie prüfen Anfragen, erstellen Angebote oder pflegen CRM-Daten ein. In einer Fallstudie zur Spesenabrechnung bei einem großen koreanischen Unternehmen sank die Bearbeitungszeit für Papierbelege um über 80 %, bei weniger Fehlern und besserer Einhaltung der Richtlinien.

Quelle: Jeong u. a., E2E Process Automation Leveraging Generative AI and IDP-Based Automation Agent, arXiv 2025

So entsteht ein produktiver Chatbot oder KI-Agent

Ein firmeneigenes LLM-System entsteht in mehreren aufeinander abgestimmten Schritten:

• Sprachmodell auswählen: Zur Wahl stehen große Modelle von OpenAI, Anthropic, Google, Mistral oder Meta ebenso wie kleinere Open-Source-Modelle wie Phi, Gemma, Qwen oder DeepSeek. Die Entscheidung hängt von Leistung, Datenschutz, Kosten und technischer Flexibilität ab. Wann sich ein lokal betriebenes Modell lohnt, beschreibt unser Artikel Lokale LLMs in der Praxis.
• Interne Daten anbinden: Damit das System unternehmensspezifische Fragen beantwortet, werden Dokumentationen, Datenbankeinträge und Wissensartikel indexiert und über Vektordatenbanken und RAG semantisch zugänglich gemacht.
• Prompt Engineering und Systemlogik: Hier werden Aufgaben, Rollen und Regeln festgelegt: wie ausführlich geantwortet wird, in welchem Ton und welche Funktionen das System auslösen darf. Schutzmechanismen verhindern unerwünschte Antworten und schützen sensible Daten.
• In bestehende Oberflächen integrieren: Das System wird dort eingebunden, wo ohnehin gearbeitet wird, etwa in Microsoft Teams, Slack, das Intranet oder eigene Webanwendungen.
• Governance, Sicherheit und Qualitätssicherung: Zugriffsrechte, Nutzungsprotokolle, Feedbackfunktionen und Monitoring stellen sicher, dass das System regelkonform arbeitet, besser wird und im Betrieb zuverlässig bleibt.

Herausforderungen bei Einführung und Skalierung

• Datenschutz: Unternehmen arbeiten oft mit personenbezogenen Daten, internen Strategiepapieren oder vertraulichen Kundendaten. Klare Regeln zur Datenverarbeitung, abgestufte Zugriffsrechte und eine bewusste Entscheidung zwischen Cloud und eigenem Rechenzentrum schaffen Vertrauen und erfüllen gesetzliche Anforderungen.
• Qualitätssicherung: Sprachmodelle können falsche Informationen erzeugen. Ausgaben sollten regelmäßig geprüft und mit Fakten abgeglichen werden. RAG hilft, weil das Modell auf verlässliche interne Quellen zurückgreift.
• Akzeptanz: Verstehen Mitarbeitende die Technik nicht oder misstrauen ihr, bleibt das Potenzial ungenutzt. Praxisnahe Schulungen, offene Kommunikation und gut verständliche Anwendungsfälle schaffen Vertrauen.
• Skalierbarkeit: Ein vielversprechender Prototyp reicht nicht, wenn er sich nicht produktiv nutzen lässt. Mechanismen für Rückmeldung, Bewertung und laufende Verbesserung gehören deshalb von Anfang an dazu.

Fazit: Der Nutzen entsteht in der Verbindung mit den eigenen Daten

Unternehmen, die in LLMs und KI-Agenten investieren, gewinnen effizientere Abläufe, leichter zugängliches Wissen, bessere Qualität und spürbar entlastete Teams. Den größten Wert schaffen die Modelle dort, wo sie eng mit internen Systemen, Daten und Arbeitsabläufen verbunden sind. KI-Agenten machen diese Verbindung nutzbar, als handlungsfähige Systeme mit echtem Geschäftsnutzen.

Wer strukturiert einsteigt, die technischen Grundlagen schafft und die Einführung in der Organisation aktiv gestaltet, legt die Basis für eine nachhaltige Wirkung. Wir unterstützen dabei, die passenden Anwendungsfälle zu finden, Lösungen zu entwickeln und sie sicher in die bestehende Infrastruktur zu integrieren, von internen Wissensassistenten bis zur Entwicklung von KI-Agenten.

Häufige Fragen