LLM i agenci AI · Streszczanie
Generatywna AI do streszczeń: szybciej do sedna dokumentów
Raporty, dokumenty polityczne, umowy, notatki z rozmów: wiele zespołów spędza dużą część dnia na czytaniu i streszczaniu. Generatywna AI przejmuje ten krok, gdy tylko dokument wpłynie. Dwa projekty z monitoringu politycznego i obsługi klienta pokazują, na co zwrócić uwagę.
Julia Rose
Najważniejsze w skrócie
- Modele językowe streszczają długie dokumenty w kilka sekund, w wielu językach i w wymaganym formacie.
- Dobre streszczenia powstają dzięki kontekstowi: typowi dokumentu, źródłu, tematowi i pytaniu, które ma czytelnik.
- W Policy-Insider.AI dokumenty polityczne są streszczane w chwili publikacji i wysyłane e-mailem do właściwych osób.
- W arvato MVP pokazuje, że notatkę po każdej rozmowie może pisać system.
Gdzie automatyczne streszczenia się opłacają
Wszędzie tam, gdzie trzeba dużo przeczytać, żeby znaleźć niewiele istotnych informacji, streszczanie zajmuje czas i angażuje ekspertów. Typowe przykłady:
- Monitoring polityczny i rynkowy: nowe projekty ustaw, stanowiska, badania i informacje branżowe.
- Obsługa klienta: notatki po rozmowach telefonicznych, czatach czy wymianie e-maili.
- Dział prawny i zakupy: najważniejsze punkty umów, przetargów i dokumentów od dostawców.
- Zarząd i projekty: raporty, protokoły i długie wątki e-mailowe w pigułce.
- Zarządzanie wiedzą: krótkie wersje dokumentów w repozytoriach, dzięki którym łatwiej znaleźć treści.
Co wyróżnia dobre streszczenie
Model językowy potrafi skrócić każdy tekst. Streszczenie staje się przydatne dopiero wtedy, gdy odpowiada na pytania czytelnika. Do tego system potrzebuje kontekstu:
| Czynnik | Efekt |
|---|---|
| Typ i źródło dokumentu | Projekt ustawy streszcza się inaczej niż komunikat prasowy. |
| Zainteresowania czytelnika | Streszczenie skupia się na tematach, które są ważne dla tej osoby. |
| Stały format | Jednolite pola, takie jak sprawa, wynik i kolejne kroki, pozwalają porównywać streszczenia. |
| Długie dokumenty | Najpierw wybierane są istotne fragmenty, dzięki czemu nic ważnego nie umyka. |
| Język | Dokumenty w jednym języku, streszczenie w języku czytelnika. |
Dwa projekty z praktyki
Z praktyki: Policy-Insider.AI
Zespoły public affairs śledzą każdego dnia setki dokumentów politycznych z instytucji UE, często w różnych językach. Dla platformy Policy-Insider.AI zbudowaliśmy warstwę AI, która streszcza każdy dokument w chwili jego publikacji. Jako kontekst prompty otrzymują typ dokumentu, instytucję i obszar polityki. Użytkownicy zakładają profil zainteresowań i dostają e-mailem tylko streszczenia dotyczące ich tematów. Analitycy czytają mniej, a więcej czasu poświęcają na interpretację.
Z praktyki: arvato
W call center arvato konsultanci po każdej rozmowie z klientem pisali notatkę ręcznie, a jej jakość bywała różna. W ramach MVP potok rozpoznawania mowy i streszczania tworzy dla każdej rozmowy notatkę w stałym formacie: sprawa, kategoria, podjęte działania, kolejne kroki. Modele wytrenowano specjalnie dla języka polskiego.
Jak utrzymać jakość na produkcji
Jakość generowanych tekstów trudno sprawdzać na dużą skalę. Na pierwszy plan wysuwają się trzy ryzyka: niespójne wyniki, zmyślone stwierdzenia i streszczenia, w których brakuje tego, co najważniejsze. W praktyce sprawdzają się:
- Zbiór testowy z prawdziwych dokumentów: eksperci określają, co musi zawierać dobre streszczenie.
- Automatyczna ocena: każda zmiana promptu lub modelu jest sprawdzana na tym zbiorze testowym.
- Powiązanie ze źródłem: każde stwierdzenie da się odnaleźć w konkretnym fragmencie oryginalnego dokumentu.
- Informacja zwrotna w codziennej pracy: użytkownicy oznaczają słabe streszczenia, a ich uwagi wykorzystujemy przy kolejnych usprawnieniach.
Dla Policy-Insider.AI zbudowaliśmy w tym celu iteracyjny potok ewaluacji. Więcej o tym piszemy w artykule Obserwowalność i monitorowanie LLM.
Jak zacząć
- Wybierz rodzaj dokumentu: jeden rodzaj dokumentów lub rozmów, których przeczytanie zajmuje dziś dużo czasu.
- Ustal format: co ma się znaleźć w każdym streszczeniu i dla kogo?
- Przetestuj na prawdziwych przykładach: eksperci porównują wyniki z własnymi streszczeniami.
- Włącz streszczenia w codzienny proces: streszczenie pojawia się tam, gdzie ludzie pracują, np. w CRM, w podglądzie dokumentu albo w e-mailu.
Mniej czytać, szybciej decydować?
Sprawdzamy, które dokumenty lub rozmowy nadają się do automatycznego streszczania i jak streszczenia mogą trafiać do Twoich systemów.
Zapytaj o analizę procesuNajczęściej zadawane pytania
Model językowy otrzymuje dokument lub jego istotne fragmenty razem z kontekstem, takim jak typ dokumentu, temat i wymagany format, i na tej podstawie pisze streszczenie.
To zależy od kontekstu, promptu i bieżącej kontroli. Dzięki zbiorom testowym, automatycznej ocenie, powiązaniu ze źródłem i informacjom zwrotnym od użytkowników jakość na produkcji pozostaje stabilna.
Tak. Rozmowy są najpierw zamieniane na tekst za pomocą rozpoznawania mowy, a potem streszczane, np. jako notatka w CRM po rozmowie z klientem.
Tak. Streszczenie może powstać w języku czytelnika, nawet jeśli dokument jest napisany w innym języku.
Julia jest w theBlue.ai od 2019 roku i od początku istnienia firmy obserwuje z bliska, jak powstają aplikacje AI dla przedsiębiorstw. Jako Marketing Lead ściśle współpracuje z zespołami inżynierów i doradców, a złożone tematy techniczne przekłada na język zrozumiały dla osób decyzyjnych.
W swoich artykułach pisze o praktycznych doświadczeniach z projektów enterprise AI oraz o wyzwaniach i szansach, jakie AI daje firmom.