Was ist Edge AI?

Edge AI ist eine Anwendung, deren Algorithmen der künstlichen Intelligenz direkt auf dem Gerät, auf der Hardware installiert sind und die Daten direkt gesammelt werden. Das kann beispielsweise eine Drohne, eine Kamera oder eine Augmented-Reality-Brille sein. So entfällt der Datentransfer zu einem Server oder einer Cloud, wie es bei klassischen Methoden ist.

Die Umstellung des Datenverarbeitungsortes auf ein Endgerät ist dann besonders wichtig, wenn:

• Die Geschwindigkeit der Datenverarbeitung von entscheidender Bedeutung ist, dass sogar kürzeste Verzögerung von Millisekunden unerwünscht bis gefährlich sind.
• Es Probleme mit einem stabilen Zugriff auf das Netzwerk gibt. Eine solche Situation kann z.B. in dünn besiedelten Regionen oder in Räumen auftreten, die das Signal bewusst blockieren.
• Es sehr sensiblen Daten sind, die das Gerät nicht verlassen dürfen.
• Der Stromverbrauch niedrig sein muss. Wir müssen nicht ständig Daten in die Cloud senden, so dass der Einsatz von Batterien automatisch minimiert wird.

Die Anwendungsmöglichkeiten von Edge AI sind sehr vielfältig.

Dazu gehören autonome Fahrzeuge und Drohnen. Das gemeinsame Merkmal ist die Notwendigkeit, Entscheidungen in Echtzeit zu treffen. Daher bleibt keine Zeit, Daten zur Weiterverarbeitung in die Cloud zu senden.

Die Edge AI wird auch in Wearables eingesetzt. Intelligente Uhren und Armbänder erfassen immer genauere Messungen der Vitalwerte. Diese Informationen, kombiniert mit Algorithmen der künstlichen Intelligenz, ermöglichen die Planung von Training, Gesundheitsversorgung und Altenpflege.

Edge AI trägt auch dazu bei, die Vorgaben von Industry 4.0 umzusetzen und ermöglicht unter anderem eine schnelle Erkennung zukünftiger Maschinenfehler auf der Grundlage von Sensormessdaten, die unter anderem Vibrationen, Temperatur und Ultraschall untersuchen. Es unterstützt auch die allmähliche Automatisierung des Produktionsprozesses und der Qualitätskontrolle. In diesem Fall werden Bildverarbeitungsalgorithmen zum Erkennen, Klassifizieren und Verfolgen von Objekten in der unmittelbaren Umfeld der Anlage eingesetzt.

Es gibt unzählig viele solcher Beispiele. Dazu gehören alle Bereiche und Situationen, bei denen die oben genannten Gründe relevant sind. Denken Sie nur an Smart Homes, Smartphones, Augmented Reality-Brillen…. Und das ist erst der Anfang, denn diese Technologien kommen immer mehr in unser tägliches Leben und Business.

Coral Beta (diese Version wurde diesen Monat veröffentlicht) konzentriert sich auf Bildverarbeitungsszenarien. Es ermöglicht die Erstellung von Lösungen zur Erkennung und Klassifizierung von Objekten in Bildern und Aufnahmen von der Kamera, beispielsweise Erkennung von Gesichter, Vogelarten oder Tausende von Alltagsgegenständen. In Google Coral können Sie mit Tensorflow Lite Modellen arbeiten. Es ist jedoch notwendig, es richtig zu kombinieren, damit es die Edge TPU-Technologie nutzen kann. Derzeit kann der Compiler mit vier Arten von neuronalen Netzwerkarchitekturen arbeiten:

• Inception V3/V4: 299×299 fixed input size,
• Inception V1/V2: 224×224 fixed input size,
• MobileNet SSD V1/V2: 320×320 max input size; 1.0 max depth multiplier,
• Oraz MobileNet V1/V2: 224×224 max input size; 1.0 max depth multiplier.

Die .tflite-Modelle sollten jedoch 100 MB nicht überschreiten.
Ein wesentlicher Vorteil der mit dem Edge TPU ausgestatteten TPU-API für Python ist die Möglichkeit, Transfer Learning zu nutzen, d.h. ein gelerntes Modell zu verwenden und es auf Ihren Daten zu trainieren. Dies kann direkt am Gerät erfolgen. Aufgrund der großen Datenmengen (Bildern) und langer Verarbeitungszeit war es besser, das Transfer Learning- Modell in unserem Fall am Computer zu ignorieren und es auf das Gerät zu verschieben.

Grafikkarten werden üblicherweise verwendet, um Deep-Learning-Modelle zu trainieren. Deshalb hat sich Nvidia entschlossen, seine langjährige Führungsrolle in diesem Bereich zu nutzen und in den Markt der Künstlichen Intelligenz einzusteigen.
Das Unternehmen spielt mit seiner Jetson-Produktlinie eine bedeutende Rolle im KI-Edge-Markt. Die Jetson-Produktlinie wird häufig in der Robotik und Drohnenindustrie eingesetzt. Die Serie mit Modellen wie dem TX2 oder der neuesten Version des AGX Xavier bietet hervorragende technische Parameter, die es ermöglichen, selbst sehr rechenintensive Algorithmen direkt auf dem Gerät auszuführen.

GTC Nvidia stellte auf der Konferenz letzte Woche auch Jetson Nano, ein neues Mitglied der Jetson-Familie, vor. Es ist viel kleiner und billiger als die anderen Produkte der Serie und bietet gleichzeitig beeindruckende technische Parameter. Es soll auch die Verwendung einer Vielzahl von neuronalen Netzwerkarchitekturen und bekannten maschinellen Lernframeworks wie TensorFlow, PyTorch, Keras, Caffe ermöglichen.

Eine interessante Ergänzung wird auch sein, dass CUDA-X-Bibliotheken für die Jetson-Serie verwendet werden können, die das vollen Nutzungs-Potenzial der GPU eröffnen.

Wir freuen uns darauf, Jetson Nano zu testen, um zu sehen, ob es mit fortgeschrittenen Anwendungen wie Bildsegmentierung und “Haltungsschätzung “umgehen kann.