LLM Entwicklung für Ihre Daten und Ihre Systeme

LLM Entwicklung bedeutet, ein großes Sprachmodell an die Dokumente, das Vokabular und die Prozesse eines Unternehmens anzupassen und das System drumherum zu bauen: Validierung, Anbindung an die bestehende Software und einen Betrieb, der die Sicherheitsregeln des Unternehmens erfüllt. Die Anpassung erfolgt über Prompt Engineering, Retrieval-Augmented Generation (RAG), Fine-Tuning oder eine Kombination davon. theBlue.ai baut solche Systeme On-Premise, in der Cloud oder hybrid.

RAG ist sinnvoll, wenn sich das Wissen oft ändert und jede Antwort eine Quelle braucht, etwa bei Produktdokumentation oder internen Richtlinien. Fine-Tuning lohnt sich, wenn das Vokabular sehr speziell ist, der Ausgabestil feststeht oder ein kleineres Modell große Mengen verarbeiten muss. Viele Aufgaben, zum Beispiel die Extraktion aus E-Mails, funktionieren schon mit Prompt Engineering allein. Wir beginnen mit dem schlanksten Ansatz, der die Anforderung erfüllt, und entscheiden in der Prozessanalyse anhand Ihrer Daten.

Nein. Für sensible Prozesse betreibt theBlue.ai lokale Modelle auf Ihrer eigenen Hardware. Ihre Dokumente verlassen dann nie Ihr Netzwerk und gelangen zu keinem Anbieter. Nutzen wir einen Cloud-Anbieter, stellen wir immer sicher, dass die Verwendung Ihrer Daten für das Training ausgeschaltet ist. Bei API-Deployments werden Ihre Daten standardmäßig nicht für das Training verwendet. Welcher Weg passt, klären wir, bevor etwas gebaut wird.

Ja. theBlue.ai betreibt Sprachmodelle On-Premise, in der Cloud, hybrid oder als gehostetes Modell, je nach Sicherheitsanforderungen und Infrastruktur. Bei Tirol Kliniken läuft das System auf den eigenen Servern des Krankenhauses, bei Fr. Meyer’s Sohn in Docker auf den Servern des Unternehmens. Für unsere eigene Arbeit haben wir zudem drei lokale Modelle im Produktivbetrieb.

Mit gehosteten und mit Open-Source-Modellen. Als OpenAI Select Partner setzen wir die Modelle von OpenAI ein, wo sie passen. Das System für Fr. Meyer’s Sohn nutzt zum Beispiel GPT-3.5 und GPT-4. Für lokale Installationen arbeiten wir mit Open-Source-Modellfamilien wie Gemma, Llama und Qwen. Das Modell wählen wir für jede Aufgabe einzeln, abgewogen nach Genauigkeit, Geschwindigkeit, Kontextlänge, Sprachunterstützung und Hardware.

Unsere Systeme im Produktivbetrieb verarbeiten Deutsch und Englisch, einige auch weitere Sprachen: Das Pharmakovigilanz-System liest medizinische Texte auf Deutsch, Englisch, Französisch, Italienisch und Spanisch, und unsere Ausschreibungsprüfung arbeitet mit polnischen Dokumenten. Die Sprachunterstützung ist eines der Kriterien bei der Modellwahl.

Erste funktionierende Bausteine gibt es in der Regel sechs bis acht Wochen nach Beginn der Umsetzung. Wenn schon ein System existiert, geht es oft schneller: Das bestehende LLM-System von Radaway haben wir in drei Wochen von der technischen Prüfung bis in den Produktivbetrieb gebracht.

Die Prozessanalyse gibt es zum Festpreis ab 3.000 €. Sie endet mit einem Architekturvorschlag, der Umfang, Zeitplan und Kosten der Umsetzung festhält. Die Umsetzung selbst wird nach Meilensteinen abgerechnet, sodass Sie die Kosten jedes Schritts kennen, bevor er beginnt. Ob es weitergeht, entscheiden Sie nach der Analyse.

Meistens, ohne neu anzufangen. Prototypen, die unter kontrollierten Bedingungen funktionieren und im Echtbetrieb scheitern, sind ein häufiges Muster. Die Ursache liegt fast immer in wenigen Bausteinen: Prompts, Ausgabeformate, Validierung und Sonderfälle. Wir prüfen, was vorhanden ist, behalten, was funktioniert, und bauen den Rest neu. So hat das System von Radaway in drei Wochen den Produktivbetrieb erreicht.

Das System geht mit echten Daten live. Wir beobachten es genau, bessern anhand des tatsächlichen Betriebs nach und übergeben es mit vollständiger Dokumentation und Schulung. Auf Wunsch betreuen wir es auch danach weiter. Das ist vor allem bei lokalen Modellen wichtig, denn sie müssen betrieben, überwacht und aktualisiert werden.