LLM i agenci AI · Dopasowanie modelu
Dedykowane modele LLM: dlaczego firmy potrzebują modeli szytych na miarę
Odpowiadanie na zapytania klientów, streszczanie e-maili, porządkowanie informacji: duże modele językowe mogą przejąć sporą część rutynowej pracy. To, jak dobrze sobie z nią radzą, zależy od tego, jak dokładnie są dopasowane do zadań, danych i systemów firmy.
Aleksandra Osztynowicz
Najważniejsze w skrócie
- Standardowe modele LLM są generalistami. Do wyspecjalizowanych zadań biznesowych trzeba je dopasować.
- Są trzy drogi: prompt engineering przy jasno określonych zadaniach, RAG, gdy odpowiedzi mają wskazywać źródła, oraz dostrajanie modelu (fine-tuning) przy bardzo specjalistycznym słownictwie lub dużych wolumenach.
- Większość projektów nie wymaga modelu trenowanego od zera. Rozsądnie jest wybrać najprostsze podejście, które spełnia wymagania.
- Modele LLM można uruchamiać przez API zgodne z zasadami ochrony danych, w chmurze albo on-premise, na Twoich własnych serwerach.
Czym jest LLM?
Duży model językowy (LLM) to model AI trenowany na bardzo dużych zbiorach tekstów, który rozumie i tworzy język naturalny. Analizuje teksty, streszcza treści i odpowiada na pytania. Modele standardowe powstają z myślą o szerokim spektrum zadań. Dzięki temu są wszechstronne, ale przy wyspecjalizowanych zadaniach biznesowych często zbyt mało precyzyjne: nie znają wewnętrznych dokumentów firmy, jej słownictwa ani reguł.
Dlatego wybór i integracja odpowiedniego modelu są dla wielu firm wyzwaniem. Często brakuje im wiedzy technicznej, by znaleźć właściwe podejście i połączyć model z istniejącymi systemami.
Trzy sposoby dopasowania modelu LLM
Trenowanie modelu od zera rzadko jest firmom potrzebne. Zwykle pretrenowany model bazowy dopasowuje się na jeden z trzech sposobów, zaczynając od najprostszego, który spełnia wymagania:
| Podejście | Zasada działania | Kiedy się sprawdza | Nakład pracy |
|---|---|---|---|
| Prompt engineering | Ogólny model z promptami i formatami wyników dopasowanymi do zadania. | gdy zadanie jest jasno określone: ekstrakcja, klasyfikacja, streszczenia. | niski |
| RAG | Model odpowiada na podstawie dokumentów wyszukanych w chwili zadania pytania i podaje źródło. | gdy wiedza często się zmienia, a każda odpowiedź wymaga źródła. | średni |
| Fine-tuning lub własny model | Model bazowy zostaje dotrenowany na przykładach z Twoich danych. | gdy słownictwo jest bardzo specjalistyczne, styl wyników jest z góry ustalony albo mniejszy model musi obsłużyć duże wolumeny. | wysoki |
Podejścia można łączyć: dostrojony model może pracować na wynikach wyszukiwania w dokumentach. Każde podejście wymaga też walidacji, czyli dobrych przykładów i zestawu testowego, na którym można mierzyć wyniki. Przy fine-tuningu jakość i różnorodność danych treningowych decydują o tym, jak dobrze model radzi sobie ze słownictwem, złożonymi pytaniami i kontekstem zadania.
Przykłady z naszych projektów
Prompt engineering: Fr. Meyer’s Sohn
Firma logistyczna codziennie otrzymuje e-maile, z których żadne dwa nie wyglądają tak samo. Nasze rozwiązanie wyodrębnia z niemieckich i angielskich wiadomości terminy dostaw, ilości i inne dane wskazane przez klienta, a następnie przekazuje je w ustrukturyzowanej formie do dalszego przetwarzania. Korzysta z modeli GPT z promptami dopasowanymi do e-maili logistycznych, działa na serwerach klienta i zmniejszyło nakład pracy przy ręcznym wyodrębnianiu danych o około 80%.
RAG: apoQlar
W firmie MedTech asystent w kilka sekund odpowiada na pytania na podstawie setek dokumentów produktowych, a przy każdej odpowiedzi podaje dokument, z którego ona pochodzi.
Własne modele: arvato
Dla call center firmy arvato, należącej do grupy Bertelsmann, wytrenowaliśmy własne modele do przetwarzania języka polskiego. Podsumowania rozmów powstają teraz w pełni automatycznie, w jednolitym formacie dla wszystkich zespołów.
Gdzie pomagają dopasowane modele LLM
- Obsługa klienta: automatyczne odpowiedzi na proste zapytania albo pierwsze wsparcie, zanim sprawę przejmie człowiek.
- Ekstrakcja informacji: wyodrębnianie istotnych danych z e-maili i dokumentów w ustrukturyzowanej formie, np. w logistyce.
- Streszczenia: skracanie obszernych dokumentów, np. tekstów politycznych zaraz po ich publikacji.
- Asystenci wewnętrzni: odpowiedzi na pytania dotyczące dokumentacji produktowej i referencyjnej ze wskazaniem źródeł.
Jak działa automatyczne streszczanie dokumentów politycznych, pokazuje case study streszczenia dokumentów politycznych UE.
Właściwe środowisko do uruchomienia modelu
Poza samym modelem i sposobem dopasowania liczy się też to, gdzie LLM działa. API zgodne z zasadami ochrony danych można wdrożyć szybko i elastycznie. Przy danych wrażliwych warto rozważyć chmurę albo on-premise, gdzie wszystkie dane są przetwarzane na Twoich serwerach. Wybór zależy od wymogów ochrony danych i infrastruktury IT, a najlepiej ustalić go na piśmie, zanim cokolwiek powstanie.
Dlaczego w projektach LLM opłaca się współpraca z ekspertami
Dopasowany model LLM wymaga wiedzy technicznej i zrozumienia wymagań biznesowych: od wyboru podejścia przez dane i walidację po integrację z istniejącą infrastrukturą. Doświadczone zespoły dbają o to, by model przynosił zakładaną wartość i by można go było później utrzymywać i dopasowywać do nowych wymagań. Więcej o naszym podejściu przeczytasz na stronie Rozwój LLM.
Które podejście pasuje do Twojego zadania?
W analizie procesu ustalamy, czy Twoje zastosowanie najlepiej obsłuży prompt engineering, RAG czy fine-tuning, jakie dane będą potrzebne i gdzie model powinien działać.
Zapytaj o analizę procesuNajczęściej zadawane pytania
To model językowy dopasowany do zadań, danych i słownictwa firmy przez prompt engineering, retrieval-augmented generation, dostrajanie (fine-tuning) albo połączenie tych metod.
Zwykle nie. Wiele zadań da się rozwiązać za pomocą prompt engineeringu lub RAG. Fine-tuning albo własne modele opłacają się przy bardzo specjalistycznym słownictwie, z góry ustalonym stylu wyników lub dużych wolumenach.
Tak, przez API zgodne z zasadami ochrony danych albo uruchamiając model w chmurze lub on-premise, gdzie wszystkie dane są przetwarzane na Twoich serwerach.
Proof of concept jest często gotowy w ciągu kilku tygodni. Czas pełnego wdrożenia zależy od złożoności, danych i zakresu integracji.
W theBlue.ai analiza procesu ma stałą cenę od 3000 €. Wdrożenie kosztuje zwykle od 25 000 do 100 000 €, a wycena z określonym zakresem powstaje na koniec analizy.
Aleksandra od 2021 roku tworzy w theBlue.ai dedykowane rozwiązania AI. Specjalizuje się w systemach agentowych i wdrożeniach lokalnych modeli LLM dopasowanych do potrzeb firm. Jako AI Engineer pomaga organizacjom automatyzować procesy za pomocą systemów gotowych do pracy produkcyjnej: od modeli open source działających on-premise po wewnętrzne bazy wiedzy oparte na RAG dla branż regulowanych. Na bieżąco poszerza swoją wiedzę w szybko zmieniającym się świecie sztucznej inteligencji.
W swoich artykułach dzieli się doświadczeniem z prawdziwych projektów enterprise AI i pokazuje, że wdrożenie AI w firmie nie musi być skomplikowane.