MedTech · Obrazowanie medyczne i planowanie operacji
Segmentacja anatomiczna, która trwała godziny, zajmuje teraz sekundy
Przed każdą operacją, którą planuje się na podstawie badań MRI lub CT, ktoś ręcznie obrysowuje istotne struktury anatomiczne: kości, naczynia, komory mózgu, warstwa po warstwie. Zbudowaliśmy modele AI, które robią to automatycznie dla platformy VSI HoloMedicine® firmy apoQlar. Godziny ręcznej pracy skróciły się do sekund.
Kluczowe rezultaty
Klient: apoQlar
Firma MedTech z Hamburga, twórca VSI HoloMedicine®, platformy, która przenosi anatomię pacjenta do gogli rozszerzonej rzeczywistości (XR) na potrzeby planowania operacji w 3D i edukacji pacjentów.
- Branża
- MedTech
- Zastosowanie
- Segmentacja anatomiczna do planowania operacji
- Podejście AI
- Warianty U-Net i deep learning
- Obrazowanie
- Skany MRI i CT
- Platforma
- Azure ML z Microsoft InnerEye
- Integracja
- VSI HoloMedicine® na urządzeniach XR
W skrócie
Etap, który wstrzymywał każdy model do planowania operacji
- VSI HoloMedicine® pozwala chirurgom oglądać anatomię pacjenta w 3D przez gogle XR, na podstawie jego własnych danych MRI i CT.
- Działa to jednak dopiero wtedy, gdy struktury anatomiczne są zsegmentowane, a radiolodzy i technicy obrysowywali je ręcznie, warstwa po warstwie, po kilka godzin na jednego pacjenta.
- Zbudowaliśmy modele U-Net, które automatycznie segmentują te struktury na obrazach MRI i CT, z osobnym wariantem architektury dla każdej struktury docelowej.
- Praca zajmuje teraz sekundy zamiast godzin, wyniki są spójne, a cały pipeline jest udokumentowany na tyle dokładnie, że można go odtworzyć na Azure.
Punkt wyjścia
Wyzwanie
Model 3D do planowania operacji mógł powstać dopiero po segmentacji struktur anatomicznych, a ta oznaczała godziny ręcznego obrysowywania przy każdym pacjencie.
VSI HoloMedicine® pokazuje chirurgowi anatomię pacjenta w 3D, w goglach rozszerzonej rzeczywistości, na podstawie rzeczywistych danych MRI i CT tego pacjenta. Wszystko, co widzi chirurg, zależy od zsegmentowanych struktur anatomicznych.
Radiolodzy i technicy przygotowywali te struktury, obrysowując je warstwa po warstwie. Jeden pacjent zajmował kilka godzin.
Przez to segmentacja stała się wąskim gardłem. Przepustowość była ograniczona, wyniki różniły się w zależności od osoby, która obrysowywała, a gdy model był potrzebny szybko, nie dało się go przygotować na czas.
Budowa
Co zbudowaliśmy
Razem z apoQlar i specjalistami medycznymi opracowaliśmy modele AI, które automatycznie segmentują struktury anatomiczne na skanach MRI i CT.
Osobny wariant U-Net dla każdej struktury
Kości, naczynia i komory mózgu wyglądają na skanie zupełnie inaczej, a jeden ogólny model nie radzi sobie dobrze z żadną z nich. Architekturę U-Net dostosowaliśmy osobno do każdej struktury docelowej, więc każdy model jest dopasowany do kształtu i kontrastu, które ma rozpoznać.
Obie metody obrazowania
MRI i CT różnią się tym, co pokazują i w jaki sposób. Modele obejmują obie metody i wiele struktur, dzięki czemu platforma nie jest związana z jednym rodzajem skanu.
Dokumentacja, która pozwala odtworzyć wynik
Zbiory danych, przebiegi treningu i ewaluacja są w pełni udokumentowane, a pipeline’y działają w sposób odtwarzalny w Microsoft Azure ML z Microsoft InnerEye. W medycynie ta dokumentacja nie jest formalnością: pozwala później sprawdzić, jak model doszedł do wyniku.
Prosto do gogli
Wynik segmentacji trafia bezpośrednio do VSI HoloMedicine®, więc chirurg pracuje z modelem 3D w goglach XR, m.in. Meta Quest, bez ręcznego kroku pośredniego.
Co się zmieniło
Rezultaty
Przed
Kilka godzin ręcznego obrysowywania warstwa po warstwie przy każdym pacjencie. Ograniczona przepustowość, wyniki zależne od tego, kto wykonywał pracę, i wąskie gardło przed każdym modelem do planowania operacji.
Po
Kilka sekund automatycznego przetwarzania, spójna jakość, pipeline’y udokumentowane tak, że można je odtworzyć, a wynik trafia prosto do planowania operacji w 3D.
Segmentacja skróciła się z godzin do sekund, więc zniknął etap, który wstrzymywał tworzenie modeli do planowania operacji.
Wyniki są spójne. Model stosuje te same kryteria przy każdym skanie, więc rezultat nie zależy już od tego, kto akurat miał czas na obrysowywanie.
Zbiory danych, trening i ewaluacja są udokumentowane, a pipeline’y można odtworzyć na Azure, więc modele da się sprawdzać, ponownie trenować i rozbudowywać, zamiast ufać im na ślepo.
Pytania o ten projekt
Segmentacja anatomiczna do planowania operacji. Model 3D do planowania operacji mógł powstać dopiero po segmentacji struktur anatomicznych, a ta oznaczała godziny ręcznego obrysowywania przy każdym pacjencie.
Ręczna segmentacja: z godzin do sekund: Godz. → s. Modele dla obu metod obrazowania: MRI + CT. Zbiory danych, trening i ewaluacja w pełni udokumentowane: Pełna dokumentacja. Odtwarzalne pipeline’y w Microsoft Azure: Azure ML.
Warianty U-Net i deep learning. Wykorzystana technologia: Deep learning, Architektura U-Net, Segmentacja obrazów medycznych, Analiza MRI i CT, Microsoft Azure ML, Microsoft InnerEye, Odtwarzalne pipeline’y ML, Anonimizacja wideo ShareMedix.
Wykorzystana technologia
Porozmawiaj z zespołem, który to zbudował
Odpowiadamy w ciągu jednego dnia roboczego.
Więcej projektów
MedTech · Compliance i automatyzacja procesów
Kwestionariusze bezpieczeństwa wypełnione w tydzień zamiast w miesiąc
Czytaj więcej
MedTech · Automatyzacja procesów wewnętrznych
Setki dokumentów produktowych, a odpowiedź w kilka sekund i ze źródłem
Czytaj więcej
Ochrona zdrowia · Obrazowanie medyczne i neurologia