HealthTech · Computer vision i rehabilitacja
Trener 3D, który pilnuje ćwiczeń, gdy fizjoterapeuty nie ma obok
Pacjenci po operacjach i starsze osoby z ograniczoną sprawnością często nie mogą chodzić na fizjoterapię tak często, jak powinni. Zbudowaliśmy osobistego trenera 3D opartego na kamerach Azure Kinect, estymacji pozy i grywalizacji w VR, który w czasie rzeczywistym sprawdza technikę ćwiczeń i automatycznie ją koryguje. Pacjent ćwiczy w domu, bez fizjoterapeuty w pokoju.
Kluczowe rezultaty
Klient: Partnerstwo badawcze
Partnerstwo badawcze ze szpitalami, uczelniami i dostawcami technologii, skupione na domowej rehabilitacji pacjentów po operacjach i osób starszych.
- Branża
- HealthTech i rehabilitacja
- Zastosowanie
- Monitorowanie fizjoterapii w domu
- Podejście AI
- Estymacja pozy i rozpoznawanie aktywności
- Sprzęt
- Kamery 3D Azure Kinect
- Interfejs
- Grywalizacja w VR
- Współpraca
- Partnerstwo badawcze
W skrócie
Między znajomością ćwiczenia a poprawnym wykonaniem
- Rehabilitacja po operacji działa tylko wtedy, gdy ćwiczenia wykonuje się poprawnie i regularnie. Źle wykonane mogą wręcz spowodować kolejny uraz.
- Fizjoterapeutów brakuje, terminów jest mało, a wielu pacjentów nie może dojechać do gabinetu, więc ćwiczą w domu i nikt nie patrzy na ich technikę.
- Kilka kamer Azure Kinect rejestruje całe ciało w 3D, a estymacja pozy rozpoznaje, które ćwiczenie jest wykonywane i czy spełnia kryteria określone przez fizjoterapeutę.
- Gdy kolano ucieka do środka albo plecy nie są dość proste, pacjent dostaje korektę od razu, a elementy gry w VR przeciwdziałają głównej przyczynie porzucania domowych programów ćwiczeń.
Punkt wyjścia
Wyzwanie
Ćwiczenia rehabilitacyjne działają tylko wtedy, gdy są wykonywane poprawnie, a osoby, które najbardziej ich potrzebują, często nie mają regularnego nadzoru. Nikt nie sprawdzał, czy pacjent, który zna ćwiczenie, rzeczywiście wykonuje je dobrze.
Powrót do sprawności po operacji i fizjoterapia osób starszych lub z ograniczoną mobilnością zależą od tego, czy ćwiczenia są wykonywane poprawnie i regularnie. Fizjoterapeutów brakuje, terminów jest mało, a sam dojazd do gabinetu bywa przeszkodą.
Dlatego pacjenci ćwiczą w domu, bez nadzoru i często nieprawidłowo. A źle wykonane ćwiczenia mogą spowodować kolejny uraz, zamiast przyspieszyć powrót do zdrowia.
Instrukcje na papierze i filmy instruktażowe pomagają, ale żadne z nich nie powie, czy ten pacjent wykonuje ten ruch poprawnie. Poza sesją z fizjoterapeutą nie było jak tego sprawdzić.
Budowa
Co zbudowaliśmy
Opracowaliśmy osobistego trenera 3D opartego na AI: system, który obserwuje pacjenta podczas ćwiczeń w domu i w czasie rzeczywistym mówi, czy robi je dobrze, bez fizjoterapeuty w pokoju.
Kilka kamer, jeden obraz 3D
Zainstalowaliśmy i skalibrowaliśmy kilka kamer 3D Azure Kinect, które rejestrują całe ciało pacjenta w przestrzeni trójwymiarowej. To znacznie więcej niż obraz 2D: daje przestrzenną dokładność potrzebną do oceny kątów w stawach, postawy i zakresu ruchu.
Rozpoznanie ćwiczenia i ocena wykonania
Opracowane przez nas algorytmy analizują dane o ruchu w 3D i rozpoznają, jakie ćwiczenie wykonuje pacjent i jak dobrze mu idzie. System rozpoznaje przysiady, unoszenie ramion i ćwiczenia równoważne i ocenia je według kryteriów poprawności ustalonych przez fizjoterapeutów.
Korekta od razu
Gdy coś idzie nie tak, na przykład kolano za bardzo ucieka do środka, plecy nie są wystarczająco proste albo zakres ruchu jest za mały, pacjent od razu dowiaduje się, co poprawić. Przy rutynowych ćwiczeniach taką informację zwrotną daje zwykle fizjoterapeuta nadzorujący sesję.
Elementy gry, które utrzymują motywację
Porzucanie programu ćwiczeń to dobrze znana słabość rehabilitacji domowej. Do sesji wbudowaliśmy elementy gry w wirtualnej rzeczywistości, które zamieniają powtarzalne ruchy w zadania z konkretnym celem i poprawiają regularność w porównaniu z domowym programem bez nadzoru.
Co się zmieniło
Rezultaty
Przed
Pacjenci ćwiczą w domu i nikt ich nie obserwuje. Brak informacji zwrotnej o technice, duże ryzyko błędów i niska motywacja do kontynuowania.
Po
Ćwiczenia w domu pod nadzorem AI, z analizą techniki w 3D w czasie rzeczywistym, automatyczną korektą i sesjami z elementami gry, które utrzymują zaangażowanie i regularność.
Projekt pokazał, że rzetelną ocenę techniki, do której dotąd potrzebny był wykwalifikowany fizjoterapeuta na miejscu, można zautomatyzować dzięki computer vision 3D.
Pacjenci dostają natychmiastową, konkretną informację zwrotną o własnym ruchu zamiast ogólnej instrukcji, która może ich dotyczyć albo nie.
Warstwa grywalizacji odpowiada na problem zaangażowania, który osłabia większość programów rehabilitacji bez nadzoru. A właśnie od tego zależy, czy program zostanie dokończony, czy porzucony.
Pytania o ten projekt
Monitorowanie fizjoterapii w domu. Ćwiczenia rehabilitacyjne działają tylko wtedy, gdy są wykonywane poprawnie, a osoby, które najbardziej ich potrzebują, często nie mają regularnego nadzoru. Nikt nie sprawdzał, czy pacjent, który zna ćwiczenie, rzeczywiście wykonuje je dobrze.
Pełne śledzenie ruchu w przestrzeni z kilku kamer: 3D. Kontrola poprawności ćwiczeń z natychmiastową informacją zwrotną: Na bieżąco. Rehabilitacja bez fizjoterapeuty na miejscu: W domu. Sesje z elementami gry, które motywują do dalszych ćwiczeń: VR.
Estymacja pozy i rozpoznawanie aktywności. Wykorzystana technologia: Computer vision, Estymacja pozy 3D, Rozpoznawanie aktywności człowieka, Kamery 3D Azure Kinect, Wirtualna rzeczywistość (VR), Grywalizacja, Deep learning.
Wykorzystana technologia
Porozmawiaj z zespołem, który to zbudował
Odpowiadamy w ciągu jednego dnia roboczego.
Więcej projektów
Ochrona zdrowia · Obrazowanie medyczne i neurologia
Zmiany padaczkowe w MRI, których prawie nikt nie potrafi dostrzec
Czytaj więcej
MedTech · Obrazowanie medyczne i planowanie operacji
Segmentacja anatomiczna, która trwała godziny, zajmuje teraz sekundy
Czytaj więcej
IoT · Computer vision i edge AI