Intelligentes Videoüberwachungssystem für Fahrradparks auf Basis der SONY Spresense AI-Kamera

Kunde

Dieses internationale Projekt wurde von einem der lokalen Büros von SONY initiiert. SONY arbeitete mit dem französischen Startup Nielsen Concept zusammen, das sich auf innovative Fahrradparksysteme konzentriert hat. Die Ingenieure von Promwad arbeiteten an dem Projekt mit Aduk, einem Elektronikentwicklungsunternehmen in Deutschland.

Herausforderung

SONY hat eine neue AI-Plattform, Spresense, veröffentlicht und wollte ein Proof of Concept entwickeln, um mögliche Anwendungen der Plattform zu demonstrieren. 

Das Ziel des Projekts war es, ein auf Spresense basierendes Trackingsystem für Fahrradparks zu entwickeln, das automatisch verfügbare Parkplätze erkennt, auf Bewegungen reagiert, die Stromversorgung einschaltet und das Licht für neue Benutzer aktiviert. 

Es gab mehrere weitere Anforderungen:

• Erstellung einer Softwarelösung zur Kommunikation von Daten mit einem Cloud-Dienst.
• Erstellung einer Hardwarelösung: Stromquelle und GSM-Modem-Peripheriegeräte für Spresense.
• Erstellung eines Gehäuses und einer Halterung für den Prototypen.

Lösung

Als Lösung schlugen wir ein System vor, das aus einer Kamera, einem Bildprozessor und einem GSM-Modem besteht, die alle in einem kompakten Gehäuse untergebracht sind.

Aufgrund des begrenzten Speichers (1,5 MB) und der begrenzten Rechenleistung der Platine war es nicht möglich, standardmäßige neuronale Netzwerke zur Objekterkennung (NN) wie YOLO oder Mobilenet SSD zu verwenden. Es war nur möglich, eine eingeschränkte Objekterkennung basierend auf Mobilenet auf der Plattform auszuführen.

Der Vorteil war jedoch, dass die Rechenzeit sehr groß sein konnte: Sobald ein Fahrrad geparkt ist, ändert sich nichts im Bild, und wir können es viele Sekunden lang verarbeiten.

^{Abbildung 1. Sliding Window zur Fahrradzählung.}

Als Ergebnis entwickelten wir eine Lösung, die das Mobilenet-Neuronale Netzwerk im Objekterkennungsmodus verwendet. Wir verwendeten die Sliding-Window-Technik, um die Erkennungsgeschwindigkeit gegen den geringen Speicherbedarf auszutauschen: Das resultierende Mobilenet war weniger als 1 MB groß, aber die Scanzeit betrug etwa eine Minute.

Um die Einschränkungen unseres Datensatzes zu überwinden, erstellten wir einen synthetischen Datensatz mithilfe von Blender, einem Open-Source-3D-Computergrafik-Software-Toolset, das für visuelle Effekte und 3D-gedruckte Modelle verwendet wird.

^{Abbildung 2. Synthetisches Bild, erstellt mit Blender.}

Außerdem entwickelten wir auch die Konnektivitätssoftware, entwarfen das Gehäuse und entwickelten die Peripheriegeräte für die Spresense-Platine.

Um mit Mobilenet zu arbeiten, verwendeten wir das Tensorflow-Framework – die mit diesem Framework bereitgestellten Tools, um ein Modell anhand von Fahrradaufnahmen (den realen und synthetischen Bildern) zu trainieren. 

Zur Verbesserung des Datensatzes und Bekämpfung von Fehlklassifizierungen nutzten wir die LIME-Analyse. LIME steht für "Local Interpretable Model-Agnostic Explanations".

Außerdem verwendeten wir Tensorflow Lite Micro, um das Modell in die Spresense-Mikrocontroller-Umgebung zu portieren.

Geschäftswert

Unsere Ingenieure haben das erste intelligente Fahrradparksystem auf Basis des SONY Spresense-Computer-Vision-Systems entworfen. Ein Testgerät wurde in Nantes, Frankreich, installiert. Der Kunde erhielt eine einzigartige, maßgeschneiderte Lösung, die auf dem Markt ihresgleichen sucht.

Im Rahmen dieses Projekts hat unser Team auch ein neuronales Netzwerk zur Fahrradzählung trainiert. Dieses Trackingsystem kann jedoch nicht nur für Fahrradparks verwendet werden: Unser Team kann diese Lösung an jedes Projekt anpassen, bei dem eine Fernverfolgung erforderlich ist. Wir passen unser KI-System gerne an Ihre Anforderungen an, bitte kontaktieren Sie uns.