RAG Systeme Entwicklung für Antworten aus Ihren eigenen Dokumenten

Retrieval-Augmented Generation verbindet ein großes Sprachmodell mit Ihren eigenen Dokumenten und Daten. Bevor das Modell antwortet, sucht das System die Passagen heraus, die zur Frage passen, und fügt sie dem Prompt hinzu. So stützt sich die Antwort auf Ihr Wissen und kann ihre Quellen nennen. theBlue.ai baut RAG-Systeme, die On-Premise, in der Cloud oder hybrid laufen.

In zwei Phasen. Zuerst das Retrieval: Dokumente werden in Abschnitte zerlegt und in Embeddings umgewandelt, und eine Frage findet die inhaltlich ähnlichsten Passagen, oft kombiniert mit einer Stichwortsuche. Danach die Generierung: Das Sprachmodell formuliert die Antwort aus diesen Passagen. RAG kann auch Datenbanken oder Wissensgraphen abfragen, indem das Modell eine strukturierte Abfrage schreibt.

Für Wissen, das sich ändert, RAG. Es liefert den passenden Kontext im Moment der Frage, ein aktualisiertes Dokument fließt also ohne neues Training in die nächste Antwort ein. Fine-Tuning prägt, wie sich ein Modell verhält, etwa einen festen Ausgabestil oder spezielles Vokabular, und muss wiederholt werden, wenn sich die zugrunde liegenden Informationen ändern. Beides lässt sich gut kombinieren, mehr dazu unter LLM Entwicklung.

Es reduziert sie deutlich, weil das Modell aus gefundenen Belegen antwortet statt nur aus seinem Gedächtnis. Gute technische Arbeit ersetzt es aber nicht: Findet das System die falschen Passagen, kann die Antwort trotzdem falsch sein. Deshalb kommt es auf Datenaufbereitung, Retrieval-Qualität und eine Quelle zu jeder Antwort an, damit ein Mensch prüfen kann, worauf die Antwort beruht.

Die Quellen, die Sie bereits haben, ob Standardsoftware oder Eigenentwicklung: Richtlinien und Handbücher als PDF, Wiki-Seiten, Verträge, Produktdokumentation, Datenbanken und Wissensgraphen. Bei apoQlar liest das System Sicherheitsrichtlinien aus PDFs und technische Dokumentation aus Confluence. Jedes Format bekommt seine eigene Extraktion und Zerlegung.

RAG trainiert das Modell nicht mit Ihren Dokumenten, sondern ruft sie im Moment der Frage ab. Wo Index und Modell laufen, entscheiden Sie: On-Premise mit lokalen Modellen, wobei die Dokumente Ihr Netzwerk nie verlassen, oder in Ihrem eigenen Cloud-Tenant, wie bei apoQlar. Unser eigener interner Wissensassistent läuft aus demselben Grund auf unseren GPUs.

Meistens ja, wenn die Aufbereitung von Anfang an dazugehört. Dokumentation liegt selten in einem sauberen Format vor, deshalb werden Extraktion, Bereinigung und Gruppierung für jeden Dokumenttyp eigens entwickelt. Die Prozessanalyse prüft zuerst die Daten und zeigt, wo sich die Aufbereitung lohnt, denn eine saubere Struktur verbessert jede spätere Stufe.

Die Prozessanalyse gibt es zum Festpreis ab 3.000 €. Sie endet mit einem Architekturvorschlag, der Umfang, Zeitplan und Kosten der Umsetzung festhält. Die Umsetzung wird nach Meilensteinen abgerechnet, erste funktionierende Bausteine gibt es in der Regel nach sechs bis acht Wochen, getestet mit Ihren echten Dokumenten und Nutzern.