Systemy RAG, które odpowiadają na podstawie Twoich dokumentów

Generowanie wspomagane wyszukiwaniem (retrieval-augmented generation, RAG) łączy duży model językowy z Twoimi dokumentami i danymi. Zanim model odpowie, system wyszukuje fragmenty pasujące do pytania i dodaje je do promptu, dzięki czemu odpowiedź opiera się na Twojej wiedzy i może wskazać swoje źródła. theBlue.ai buduje systemy RAG działające on-premise, w chmurze lub hybrydowo.

W dwóch krokach. Pierwszy to wyszukiwanie: dokumenty są dzielone na sekcje i zamieniane na embeddingi, a do pytania system dobiera fragmenty najbliższe mu znaczeniowo, często w połączeniu z wyszukiwaniem po słowach kluczowych. Drugi to generowanie: model językowy pisze odpowiedź na podstawie tych fragmentów. RAG może też odpytywać bazy danych lub grafy wiedzy, jeśli model napisze ustrukturyzowane zapytanie.

Przy wiedzy, która się zmienia, lepszy jest RAG. Dostarcza odpowiedni kontekst w chwili zadania pytania, więc zaktualizowany dokument jest uwzględniony już w następnej odpowiedzi, bez ponownego trenowania. Dostrajanie kształtuje zachowanie modelu, np. stały styl odpowiedzi lub specjalistyczne słownictwo, i trzeba je powtarzać, gdy zmieniają się informacje, na których model się opiera. Oba podejścia dobrze się uzupełniają; więcej na stronie Rozwój LLM.

Znacząco je ogranicza, bo model odpowiada na podstawie znalezionych fragmentów, a nie wyłącznie z własnej pamięci. Nie zastępuje jednak dobrej inżynierii: jeśli system znajdzie niewłaściwe fragmenty, odpowiedź nadal może być błędna. Dlatego tak ważne są przygotowanie danych, jakość wyszukiwania i źródło przy każdej odpowiedzi, aby człowiek mógł sprawdzić, na czym opiera się odpowiedź.

Z tych, które już masz, niezależnie od tego, czy to standardowe oprogramowanie, czy system własny: polityki i instrukcje w PDF, strony wiki, umowy, dokumentacja produktowa, bazy danych i grafy wiedzy. W apoQlar system czyta polityki bezpieczeństwa zapisane jako pliki PDF oraz dokumentację techniczną z Confluence. Każdy format ma własną ekstrakcję i własny sposób podziału na fragmenty.

RAG nie trenuje modelu na Twoich dokumentach. Wyszukuje je w chwili zadania pytania. O tym, gdzie działają indeks i model, decydujesz Ty: on-premise z lokalnymi modelami, dzięki czemu dokumenty nigdy nie opuszczają Twojej sieci, albo w Twoim własnym tenancie w chmurze, jak w przypadku apoQlar. Z tego samego powodu nasz wewnętrzny asystent wiedzy działa na naszych własnych GPU.

Zwykle tak, jeśli przygotowanie danych jest częścią projektu. Dokumentacja rzadko ma jeden czysty format, dlatego ekstrakcję, czyszczenie i grupowanie opracowujemy dla każdego typu dokumentów. W analizie procesu najpierw sprawdzamy dane i wskazujemy, gdzie przygotowanie się opłaci, bo czysta struktura poprawia każdy kolejny etap.

Analiza procesu ma stałą cenę od 3000 € i kończy się propozycją architektury, która określa zakres, harmonogram i koszty budowy. Budowę wyceniamy według kamieni milowych, a pierwsze działające komponenty pojawiają się zwykle po sześciu do ośmiu tygodniach prac, przetestowane na Twoich prawdziwych dokumentach i z Twoimi użytkownikami.