Logistyka · Działalność globalna
Każdy e-mail logistyczny wygląda inaczej, a reguły za tym nie nadążały
Fr. Meyer’s Sohn przetwarza tysiące e-maili operacyjnych z danymi o przesyłkach, trasach i terminach, po niemiecku i po angielsku, bez żadnego stałego formatu. Ekstrakcja oparta na regułach nie radziła sobie z tą różnorodnością. Zbudowaliśmy potok ekstrakcji oparty na GPT, działający na własnych serwerach klienta.
Kluczowe rezultaty
Klient: Fr. Meyer’s Sohn
Międzynarodowa firma logistyczno-spedycyjna działająca na całym świecie.
- Branża
- Logistyka i spedycja
- Zastosowanie
- Ekstrakcja danych z e-maili
- Podejście AI
- GPT-3.5 i GPT-4 z prompt engineeringiem
- Wdrożenie
- Docker na serwerach klienta
- Języki
- Niemiecki i angielski
- Współpraca
- Od proof of concept do wersji produkcyjnej
W skrócie
Dlaczego stałe szablony nie miały szans
- E-maile zawierają szczegóły przesyłek, informacje o trasach i dane harmonogramów, a przychodzą całkowicie nieustrukturyzowane, po niemiecku i po angielsku.
- Żadne dwa nie wyglądają tak samo. Format zależy od nadawcy, kraju i języka, nie zawsze są wszystkie wymagane pola, a zapis dat, adresów i numerów referencyjnych różni się w zależności od rynku.
- Wszystko, co opiera się na stałych szablonach lub dopasowaniu słów kluczowych, zawodzi przy skali, na jakiej działa Fr. Meyer’s Sohn. Dlatego podejście oparte na regułach się nie sprawdziło.
- GPT-3.5 i GPT-4 z promptami dopasowanymi do języka logistyki czytają teraz e-mail i zwracają pola jako uporządkowane dane. Brakujące pole system oznacza, zamiast je zgadywać.
Punkt wyjścia
Wyzwanie
Firma potrzebowała wyodrębniać z góry określone informacje z tysięcy nieustrukturyzowanych, wielojęzycznych e-maili i otrzymywać je w ustrukturyzowanej postaci. Żadne dwa e-maile nie wyglądały tak samo, a ekstrakcja oparta na regułach nie radziła sobie z tą różnorodnością.
Fr. Meyer’s Sohn codziennie przetwarza dużą liczbę e-maili operacyjnych. Zawierają one kluczowe dane logistyczne: szczegóły przesyłek, informacje o trasach, dane harmonogramów. Przychodzą w zupełnie nieustrukturyzowanej formie, pisane po niemiecku i po angielsku.
Firma chciała wyodrębniać określone pola i przekazywać je do kolejnych systemów w ustrukturyzowanym formacie. Trudność polegała na różnorodności: format zależy od nadawcy, kraju i języka, nie zawsze są obecne wszystkie wymagane pola, a lokalne standardy zapisu dat, adresów i numerów referencyjnych różnią się między rynkami.
Tradycyjna ekstrakcja oparta na regułach nie dawała sobie z tym rady. Każde rozwiązanie oparte na stałych szablonach lub dopasowaniu słów kluczowych musiało zawieść przy tej skali działalności.
Budowa
Co zbudowaliśmy
Zaczęliśmy od proof of concept, aby pokazać, że generatywna AI niezawodnie poradzi sobie z ekstrakcją. Gdy klient zweryfikował wyniki, przeszliśmy do pełnej wersji produkcyjnej.
Ekstrakcja dopasowana do języka logistyki
System wykorzystuje GPT-3.5 i GPT-4 z promptami opracowanymi pod kątem danych logistycznych. Czyta treść e-maila, odnajduje zdefiniowane przez klienta dane i zwraca je w przejrzystym, ustrukturyzowanym formacie.
Dwa języki i żadnego zgadywania
Treści po niemiecku i po angielsku są przetwarzane natywnie, łącznie z różnicami w formatowaniu, zapisie dat i terminologii, które wynikają z globalnej działalności. Brakujące pole jest oznaczane, a nie wymyślane, i właśnie dzięki temu dane w dalszych systemach pozostają wiarygodne.
Na serwerach klienta, dostępne przez API
Rozwiązanie zbudowaliśmy w FastAPI i spakowaliśmy w kontener Docker, który działa na własnych serwerach klienta. Fr. Meyer’s Sohn wysyła zapytanie i otrzymuje z powrotem ustrukturyzowane dane w ramach dotychczasowego procesu operacyjnego.
Działa bez nadzoru
Logowanie, obsługa błędów i narzędzia do utrzymania były częścią projektu od samego początku, dzięki czemu system działa niezawodnie na dużą skalę i nikt nie musi go pilnować.
Co się zmieniło
Rezultaty
Przed
Ręczne wyodrębnianie danych z nieustrukturyzowanych e-maili. Czasochłonne, podatne na błędy i niemożliwe do skalowania przy rosnącej liczbie wiadomości.
Po
Automatyczna ekstrakcja przez API. Ustrukturyzowane dane w czasie rzeczywistym, obsługa obu języków, wszystko na własnej infrastrukturze klienta.
System rozpoznaje informacje istotne dla logistyki niezależnie od języka i formatu, a nakład ręcznej pracy przy ekstrakcji drastycznie spadł.
Ustrukturyzowane dane trafiają bezpośrednio do procesów operacyjnych Fr. Meyer’s Sohn, więc między e-mailem a systemem, który z tych danych korzysta, niczego nie trzeba przepisywać ręcznie.
Architektura jest na tyle elastyczna, że klient może ją dostosować do nowych wymagań dotyczących danych lub kolejnych języków, gdy zmienia się jego działalność, bez przebudowy systemu.
Pytania o ten projekt
Ekstrakcja danych z e-maili. Firma potrzebowała wyodrębniać z góry określone informacje z tysięcy nieustrukturyzowanych, wielojęzycznych e-maili i otrzymywać je w ustrukturyzowanej postaci. Żadne dwa e-maile nie wyglądały tak samo, a ekstrakcja oparta na regułach nie radziła sobie z tą różnorodnością.
Niemiecki i angielski przetwarzane automatycznie: 2 języki. Mniej ręcznej pracy przy wyodrębnianiu danych: –80%. Od proof of concept do wdrożenia produkcyjnego: PoC → prod. Działa w Dockerze na własnych serwerach klienta: On-premise.
GPT-3.5 i GPT-4 z prompt engineeringiem. Wykorzystana technologia: GPT-3.5, GPT-4, Prompt engineering, FastAPI, Docker, Python, Wdrożenie on-premise.
Wykorzystana technologia
Porozmawiaj z zespołem, który to zbudował
Odpowiadamy w ciągu jednego dnia roboczego.
Więcej projektów
Produkcja · Wyposażenie łazienek i sanitariatów
Przetwarzanie zamówień z e-maili na tyle niezawodne, by działało na produkcji
Czytaj więcej
Telekomunikacja · Obsługa call center
Notatki z rozmów pisze system, nie konsultant
Czytaj więcej
Motoryzacja · Planowanie produkcji