LLMs & KI-Agenten · Modellanpassung
Maßgeschneiderte LLMs: Warum angepasste Sprachmodelle für Unternehmen zählen
Kundenanfragen beantworten, E-Mails zusammenfassen, Informationen strukturieren: Große Sprachmodelle können viel Routinearbeit abnehmen. Wie gut sie das tun, hängt davon ab, wie genau sie auf die Aufgaben, Daten und Systeme eines Unternehmens abgestimmt sind.
Aleksandra Osztynowicz
Das Wichtigste in Kürze
- Standard-LLMs sind Generalisten. Für spezielle Unternehmensaufgaben müssen sie angepasst werden.
- Es gibt drei Wege: Prompt Engineering für klar umrissene Aufgaben, RAG für Wissen mit Quellenangabe, Fine-Tuning für sehr spezielles Vokabular oder große Mengen.
- Die meisten Projekte brauchen kein Modell, das von Grund auf trainiert wird. Sinnvoll ist der schlankste Ansatz, der die Anforderung erfüllt.
- Betrieben werden LLMs über datenschutzkonforme APIs, in der Cloud oder On-Premise auf eigenen Servern.
Was ist ein LLM?
Ein Large Language Model (LLM) ist ein KI-Modell, das auf sehr großen Textmengen trainiert wurde und natürliche Sprache verstehen und erzeugen kann. Es analysiert Texte, fasst Inhalte zusammen und beantwortet Fragen. Standardmodelle sind dabei auf ein breites Aufgabenspektrum ausgelegt. Das macht sie vielseitig, für spezialisierte Unternehmensaufgaben aber oft zu ungenau: Sie kennen weder die internen Dokumente noch die Fachbegriffe oder Regeln eines Hauses.
Die Auswahl und Einbindung des passenden Modells ist für viele Unternehmen deshalb eine Herausforderung. Häufig fehlt das technische Wissen, um den richtigen Ansatz zu finden und das Modell in bestehende Systeme zu integrieren.
Drei Wege, ein LLM anzupassen
Ein Modell von Grund auf zu trainieren, ist für Unternehmen selten nötig. Meist wird ein vortrainiertes Basismodell auf einem von drei Wegen angepasst, und man beginnt mit dem schlanksten, der die Anforderung erfüllt:
| Ansatz | Prinzip | Passt, wenn | Aufwand |
|---|---|---|---|
| Prompt Engineering | Ein allgemeines Modell mit Prompts und Ausgabeformaten, die auf die Aufgabe zugeschnitten sind. | die Aufgabe klar umrissen ist: Extraktion, Klassifikation, Zusammenfassungen. | gering |
| RAG | Das Modell antwortet aus Dokumenten, die im Moment der Frage abgerufen werden, und nennt die Quelle. | sich das Wissen oft ändert und jede Antwort eine Quelle braucht. | mittel |
| Fine-Tuning oder eigenes Modell | Ein Basismodell wird mit Beispielen aus den eigenen Daten weitertrainiert. | das Vokabular sehr speziell ist, der Ausgabestil feststeht oder ein kleineres Modell große Mengen bewältigen muss. | hoch |
Die Ansätze lassen sich kombinieren: Ein feinabgestimmtes Modell kann hinter einem Retrieval-Schritt arbeiten. Jeder Ansatz braucht außerdem eine Validierung, also gute Beispiele und einen Testdatensatz, an dem sich das Ergebnis messen lässt. Beim Fine-Tuning entscheiden Qualität und Umfang der Trainingsdaten darüber, wie gut das Modell Fachbegriffe, komplexe Fragen und den Kontext einer Aufgabe erfasst.
Beispiele aus unseren Projekten
Prompt Engineering: Fr. Meyer’s Sohn
Das Logistikunternehmen erhält täglich E-Mails, von denen keine der anderen gleicht. Unsere Lösung liest Liefertermine, Mengen und andere vom Kunden definierte Angaben aus deutschen und englischen E-Mails aus und liefert sie strukturiert zur Weiterverarbeitung. Sie arbeitet mit GPT-Modellen und auf Logistik-E-Mails abgestimmten Prompts, läuft auf den eigenen Servern des Kunden und senkte den manuellen Extraktionsaufwand um rund 80 %.
RAG: apoQlar
Für das MedTech-Unternehmen beantwortet ein Assistent Fragen aus Hunderten Produktdokumenten in Sekunden, und jede Antwort nennt das Dokument, aus dem sie stammt.
Eigene Modelle: arvato
Für die Call-Center von arvato, Teil der Bertelsmann-Gruppe, haben wir eigene Modelle für die polnische Sprachverarbeitung trainiert. Gesprächszusammenfassungen entstehen heute vollständig automatisch, in einem einheitlichen Format für alle Teams.
Wo angepasste LLMs helfen
- Kundenservice: einfache Anfragen automatisch beantworten oder eine erste Unterstützung geben, bevor ein Mensch übernimmt.
- Informationsextraktion: relevante Angaben aus E-Mails und Dokumenten strukturiert bereitstellen, etwa in der Logistik.
- Zusammenfassungen: umfangreiche Dokumente verdichten, zum Beispiel politische Texte, sobald sie erscheinen.
- Interne Assistenten: Fragen zu Produkt- und Referenzdokumenten mit Quellenangabe beantworten.
Wie Politikdokumente automatisch zusammengefasst werden, zeigt die Referenz EU-Policy-Zusammenfassungen.
Die richtige Umgebung für den Betrieb
Neben Modell und Anpassung zählt, wo das LLM läuft. Datenschutzkonforme APIs sind schnell und flexibel einsetzbar. Bei sensiblen Daten kann ein Betrieb in der Cloud oder On-Premise sinnvoll sein, dann werden die Daten vollständig auf eigenen Servern verarbeitet. Welche Variante passt, hängt von den Datenschutzanforderungen und der IT-Infrastruktur ab und wird am besten schriftlich festgelegt, bevor etwas gebaut wird.
Warum sich Fachleute für LLM-Projekte lohnen
Ein angepasstes LLM verlangt technisches Fachwissen und ein Verständnis der Geschäftsanforderungen: vom passenden Ansatz über Daten und Validierung bis zur Integration in die bestehende Infrastruktur. Erfahrene Teams sorgen dafür, dass das Modell den gewünschten Nutzen bringt und sich später warten und an neue Anforderungen anpassen lässt. Mehr zu unserem Vorgehen auf der Seite LLM Entwicklung.
Welcher Ansatz passt zu Ihrer Aufgabe?
In der Prozessanalyse klären wir, ob Prompt Engineering, RAG oder Fine-Tuning Ihren Anwendungsfall trägt, welche Daten nötig sind und wo das Modell laufen soll.
Prozessanalyse anfragenHäufige Fragen
Ein Sprachmodell, das auf die Aufgaben, Daten und Fachbegriffe eines Unternehmens abgestimmt ist, über Prompt Engineering, Retrieval-Augmented Generation, Fine-Tuning oder eine Kombination davon.
Meist nicht. Viele Aufgaben lassen sich mit Prompt Engineering oder RAG lösen. Fine-Tuning oder eigene Modelle lohnen sich bei sehr speziellem Vokabular, festem Ausgabestil oder großen Mengen.
Ja, über datenschutzkonforme APIs oder im Betrieb in der Cloud beziehungsweise On-Premise, bei dem alle Daten auf eigenen Servern verarbeitet werden.
Ein Proof of Concept ist oft in wenigen Wochen erstellt. Die vollständige Umsetzung hängt von Komplexität, Datenlage und Integrationstiefe ab.
Bei theBlue.ai gibt es die Prozessanalyse zum Festpreis ab 3.000 €. Eine Umsetzung liegt typischerweise zwischen 25.000 und 100.000 €, die genaue Schätzung folgt am Ende der Analyse.
Aleksandra entwickelt seit 2021 bei theBlue.ai maßgeschneiderte KI-Lösungen mit Schwerpunkt auf agentischen Implementierungen und lokalen LLM-Deployments, die passgenau auf Unternehmensanforderungen zugeschnitten sind. Als AI Engineer hilft sie Organisationen dabei, ihre Prozesse mit produktionsreifen Systemen zu automatisieren, von On-Premise-Open-Source-Modellen bis hin zu RAG-basierten internen Wissensdatenbanken für regulierte Branchen, und erweitert ihr Wissen kontinuierlich in der sich rasant wandelnden Welt der Künstlichen Intelligenz.
In ihren Artikeln teilt sie praktische Erfahrungen aus realen Enterprise-KI-Projekten und zeigt: KI im Unternehmen einzuführen muss nicht kompliziert sein.