LLM i agenci AI · RAG
Retrieval augmented generation (RAG): 5 zastosowań w firmach
Model językowy nie zna Twoich produktów, zasad ani umów. Retrieval augmented generation łączy go z Twoimi dokumentami, więc odpowiedzi opierają się na Twojej wiedzy i wskazują źródło. Pięć opisanych niżej zastosowań pokazuje, gdzie to się firmom opłaca.
Julia Rose
Najważniejsze w skrócie
- RAG wyszukuje w Twoich dokumentach fragmenty pasujące do pytania, a model językowy pisze na ich podstawie odpowiedź ze wskazaniem źródła.
- Typowe zastosowania to zapytania klientów i obywateli, wyszukiwanie wiedzy wewnętrznej, kwestionariusze, onboarding i cyfrowi asystenci.
- W apoQlar RAG skrócił czas wypełniania kwestionariuszy bezpieczeństwa o 75%.
- Jakość odpowiedzi systemu RAG zależy przede wszystkim od jakości i aktualności danych oraz od uprawnień dostępu.
Czym jest retrieval augmented generation
Duże modele językowe piszą płynnie, ale znają tylko swoje dane treningowe. Nie ma w nich dokumentów wewnętrznych, aktualnych cen ani najnowszej wersji produktu. Zapytane mimo to, w najgorszym razie wymyślą wiarygodnie brzmiącą odpowiedź.
Retrieval augmented generation (RAG) rozwiązuje ten problem w dwóch krokach:
- Wyszukiwanie (retrieval): system znajduje w Twoich dokumentach fragmenty pasujące do pytania, zwykle za pomocą wektorowej bazy danych, która szuka po znaczeniu.
- Generowanie (generation): model językowy otrzymuje te fragmenty jako kontekst i na ich podstawie pisze odpowiedź, ze wskazaniem źródła.
Wiedza pozostaje w Twoich dokumentach, a każdą zmianę w nich od razu widać w odpowiedziach, bez ponownego trenowania modelu.
5 zastosowań RAG w firmach
1. Odpowiadanie na zapytania klientów i obywateli
Ludzie pytają własnymi słowami, a odpowiedzi kryją się w dokumentacji technicznej, instrukcjach albo przepisach. Asystent RAG łączy jedno z drugim przez całą dobę i wskazuje fragment, z którego pochodzi odpowiedź.
Z praktyki: urząd dozoru technicznego
Polski urząd dozoru technicznego otrzymuje tysiące zapytań o pozwolenia, bezpieczeństwo urządzeń i certyfikację. Jego dotychczasowy chatbot wymagał najpierw wybrania kategorii. Zaprojektowaliśmy architekturę wieloagentową z RAG, która automatycznie kieruje każde pytanie do jednego z 11 wyspecjalizowanych obszarów wiedzy i dopasowuje potoczny język do dokumentacji technicznej.
2. Szybkie wyszukiwanie wiedzy wewnętrznej
Wiedza o produktach, opisy procesów i materiały referencyjne są często rozproszone w setkach dokumentów. Kto musi odpowiedzieć na pytanie, szuka ręcznie, a jakość odpowiedzi zależy od tego, ile ma na to czasu.
Z praktyki: apoQlar
Zespoły wsparcia i operacji w tej firmie MedTech ręcznie przeszukiwały setki dokumentów produktowych. Asystent RAG z wektorową bazą danych odpowiada teraz na pytania w kilka sekund i podaje dokument, z którego pochodzi każda odpowiedź. Zespół weryfikuje, zamiast szukać, i może przekazać odpowiedź prosto klientowi.
3. Wypełnianie kwestionariuszy i odpowiedzi na przetargi
Kwestionariusze bezpieczeństwa i compliance, audyty dostawców i przetargi często zadają te same pytania w nowych sformułowaniach. RAG przygotowuje projekty odpowiedzi na podstawie polityk i dokumentacji technicznej, a eksperci je sprawdzają i zatwierdzają.
Z praktyki: apoQlar
Przed każdym wdrożeniem w szpitalu apoQlar musiał wypełniać obszerne kwestionariusze bezpieczeństwa, a każdy zajmował około miesiąca. Dzięki asystentowi RAG czas ich obsługi spadł o 75%, a wdrożenie nowych klientów skróciło się z sześciu tygodni do dwóch.
4. Wdrażanie nowych pracowników
W pierwszych tygodniach nowe osoby mają mnóstwo pytań o zasady, procesy, narzędzia i zakresy odpowiedzialności. Asystent RAG odpowiada na nie o każdej porze na podstawie podręczników, materiałów szkoleniowych i intranetu, z linkiem do oryginalnego dokumentu. Doświadczeni pracownicy rzadziej są odrywani od pracy, a odpowiedzi pozostają spójne.
5. Cyfrowi asystenci i awatary AI
Na targach, w recepcji albo na stronie internetowej awatary AI rozmawiają z odwiedzającymi. Dzięki RAG odpowiadają na podstawie Twoich dokumentów lub bazy danych wydarzenia, głosem i w kilku językach.
Z praktyki: XPOMET Medicinale
Na XPOMET Medicinale 2024 w Lipsku awatar AI Paula, zbudowany razem z Johannesstift Diakonie, odpowiadał w czasie rzeczywistym na pytania gości o drogę i wystawców, po niemiecku i po angielsku, w głośnej hali kongresowej.
Na co uważać przy RAG
System RAG jest tak dobry, jak dane, na podstawie których odpowiada. Nieaktualne lub sprzeczne dokumenty prowadzą do błędnych odpowiedzi, szczególnie w takich dziedzinach jak medycyna czy prawo. O jakości decydują cztery kwestie:
- Jakość danych: aktualne, sprawdzone dokumenty i jasna zasada, która wersja obowiązuje.
- Przygotowanie: dokumenty są dzielone na sensowne fragmenty, a tabele i skany stają się czytelne dla systemu.
- Uprawnienia dostępu: system pokazuje każdej osobie tylko to, co wolno jej zobaczyć w oryginale.
- Ocena w trakcie działania: jakość odpowiedzi jest stale mierzona na prawdziwych pytaniach, dzięki czemu błędy wychodzą na jaw wcześnie.
Jak firmy przekładają to na praktykę, opisujemy w artykule Jak firmy budują niezawodne systemy RAG. Przegląd naszych usług znajdziesz na stronie Systemy RAG.
Chcesz wykorzystać wiedzę ze swoich dokumentów?
Sprawdzamy, które dokumenty i pytania nadają się do RAG i jak pierwszy asystent wpasuje się w Twoje systemy.
Zapytaj o analizę procesuNajczęściej zadawane pytania
To metoda, w której system wyszukuje w dokumentach firmy fragmenty pasujące do pytania, a model językowy pisze na ich podstawie odpowiedź ze wskazaniem źródła.
Na przykład do obsługi zapytań klientów i obywateli, wyszukiwania wiedzy wewnętrznej, kwestionariuszy bezpieczeństwa i przetargów, wdrażania nowych pracowników oraz w cyfrowych asystentach i awatarach AI.
Nie. Wiedza pozostaje w dokumentach. Gdy zostaną zaktualizowane, zmiany od razu widać w odpowiedziach.
Przede wszystkim od aktualnych i sprawdzonych danych, dobrego przygotowania dokumentów, właściwych uprawnień dostępu i stałej oceny odpowiedzi w trakcie działania.
Julia jest w theBlue.ai od 2019 roku i od początku istnienia firmy obserwuje z bliska, jak powstają aplikacje AI dla przedsiębiorstw. Jako Marketing Lead ściśle współpracuje z zespołami inżynierów i doradców, a złożone tematy techniczne przekłada na język zrozumiały dla osób decyzyjnych.
W swoich artykułach pisze o praktycznych doświadczeniach z projektów enterprise AI oraz o wyzwaniach i szansach, jakie AI daje firmom.