Dedykowane modele LLM dopasowane do Twoich danych i systemów

Rozwój dedykowanego LLM to dopasowanie dużego modelu językowego do dokumentów, słownictwa i procesów konkretnej firmy oraz zbudowanie wokół niego całego systemu: walidacji, integracji z istniejącym oprogramowaniem i wdrożenia zgodnego z zasadami bezpieczeństwa firmy. Dopasowanie może polegać na prompt engineeringu, generowaniu wspomaganym wyszukiwaniem (RAG), dostrajaniu modelu (fine-tuningu) lub ich połączeniu. theBlue.ai buduje takie systemy on-premise, w chmurze lub hybrydowo.

RAG sprawdza się, gdy wiedza często się zmienia, a każda odpowiedź wymaga źródła, np. przy dokumentacji produktowej lub wewnętrznych regulaminach. Dostrajanie ma sens, gdy słownictwo jest bardzo specjalistyczne, styl odpowiedzi jest z góry ustalony albo mniejszy model musi przetworzyć duży wolumen. Do wielu zadań, takich jak ekstrakcja danych z e-maili, wystarczy sam prompt engineering. Zaczynamy od najlżejszego podejścia, które spełnia wymagania, a decyzję podejmujemy na podstawie danych, w ramach analizy procesu.

Nie. Przy wrażliwych procesach theBlue.ai uruchamia lokalne modele na Twoim własnym sprzęcie: dokumenty nigdy nie opuszczają Twojej sieci i nie mogą trafić do żadnego dostawcy. Gdy korzystamy z dostawcy chmurowego, zawsze upewniamy się, że wykorzystywanie Twoich danych do trenowania jest wyłączone. Przy wdrożeniach przez API Twoje dane domyślnie nie są używane do trenowania. Wybór wariantu ustalamy, zanim cokolwiek zbudujemy.

Tak. theBlue.ai wdraża systemy on-premise, w chmurze, hybrydowo lub z modelem hostowanym, zależnie od Twoich wymagań bezpieczeństwa i infrastruktury. W Tirol Kliniken system działa na własnych serwerach szpitala, a w Fr. Meyer’s Sohn w Dockerze na serwerach firmy. Na własne potrzeby uruchamiamy też produkcyjnie trzy lokalne modele.

Zarówno z modelami hostowanymi, jak i open source. Jako OpenAI Select Partner korzystamy z modeli OpenAI tam, gdzie pasują; system dla Fr. Meyer’s Sohn wykorzystuje GPT-3.5 i GPT-4. Przy wdrożeniach lokalnych pracujemy z rodzinami modeli open source, takimi jak Gemma, Llama i Qwen. Model dobieramy do zadania, porównując dokładność, szybkość, długość kontekstu, obsługę języków i wymagania sprzętowe.

Nasze systemy produkcyjne obsługują niemiecki i angielski, a kilka z nich także inne języki: system farmakowigilancji analizuje teksty medyczne po niemiecku, angielsku, francusku, włosku i hiszpańsku, a nasza analiza przetargów działa na polskich dokumentach. Obsługa języków to jedno z kryteriów przy wyborze modelu.

Pierwsze działające komponenty pojawiają się zwykle po sześciu do ośmiu tygodniach prac. Jeśli system już istnieje, może to pójść szybciej: istniejący system LLM firmy Radaway doprowadziliśmy od przeglądu technicznego do wdrożenia produkcyjnego w trzy tygodnie.

Analiza procesu ma stałą cenę od 3000 € i kończy się propozycją architektury, która określa zakres, harmonogram i koszty budowy. Samą budowę wyceniamy według kamieni milowych, więc koszt każdego kroku znasz, zanim się rozpocznie. Po analizie decydujesz, czy idziemy dalej.

Zwykle bez zaczynania od nowa. Prototypy, które działają w kontrolowanych warunkach, ale zawodzą na produkcji, to częsty przypadek. Przyczyna leży zazwyczaj w kilku komponentach: promptach, formatach odpowiedzi, walidacji i przypadkach brzegowych. Przeglądamy to, co istnieje, zachowujemy to, co działa, a resztę budujemy od nowa. Właśnie tak system firmy Radaway trafił na produkcję w trzy tygodnie.

System startuje na prawdziwych danych, a my uważnie go monitorujemy, dopracowujemy na podstawie jego rzeczywistego działania i przekazujemy z pełną dokumentacją i szkoleniem. Dostępne jest też stałe wsparcie, co ma największe znaczenie przy modelach lokalnych: trzeba je hostować, monitorować i aktualizować.