Eingebettetes Zugangskontrollsystem mit Gesichtserkennung

Kunde

Ein europäisches Carsharing-Unternehmen.

Herausforderung

Das Ziel des Projekts war die Entwicklung und Herstellung eines Sicherheitsüberwachungsprodukts aus Hard- und Software mit Gesichtserkennung, das den Zugang zu Carsharing-Fahrzeugen und anderen eingeschränkten Bereichen überwacht. 

Lösung

Wir entwarfen ein Hard- und Softwaresystem, das aus den folgenden Komponenten besteht:

• Eine Reihe von Client-Geräten (Prototypen / Smart-Kameras) zur Gesichtserkennung und Erkennung verschiedener Aktivitäten oder Ereignisse rund um die geteilten Fahrzeuge.
• Cloud-basierter Service zur Verwaltung mehrerer Fahrzeugflotten, Benutzer und Client-Geräte, Auslesen von Daten von Geräten und Protokollierung des Benutzerzugangs.
• Eine mobile App zur Benutzerregistrierung und Statuskontrolle.

Die Systemarchitektur:

^{Abb. 1. Die Software-Architektur des Dienstes}

1. Hardware-Design

Merkmale der entworfenen Hardware-Plattform:

• NXP i.MX 8M Plus Quad Applikationsprozessor mit
  • 4x Cortex-A53 bis zu 1,8 GHz
  • Machine Learning Neural Processing Unit (NPU) mit 2,3 TOPS
• 1 MIPI CSI-Kamera

2. Firmware-Entwicklung

Die Aufgaben, die wir abgeschlossen haben:

• Entwicklung des Yocto Zeus OS;
• Umsetzung eines funktionierenden Prototyps für die Gesichtserkennung;
• Integration des Prototyps mit einer GCP-Anwendung;
• Implementierung der Manipulationserkennung; 
• Implementierung von OTA-Firmware-Updates.

Die verwendeten Softwarepakete:

• OpenCV
• Python 3.9, TensorFlow Lite v2.6.0
• OS Yocto Linux

Als Ergebnis bietet das System die folgenden Funktionen:

1. Bewegungs- und Gesichtserkennung.
2. Zugangsverifizierung.
3. Anti-Spoofing-Alarm.
4. Identitätserfassung und -protokollierung der Besucher sowie Analyse.
5. Alarm bei ungewöhnlichem Verhalten.
6. Videoaufzeichnung und -speicherung.
7. Datensicherheit.
8. Schutz der Privatsphäre. Gesichtsaufnahmen werden als mathematische Repräsentation des Bildes gespeichert und übertragen, nicht als Bild selbst.
9. Cloud-basierte, skalierbare Lösung.

^{Abb. 2. Ergebnisse der Gesichtserkennung in Echtzeit}

3. Cloud-Software-Dienst

Wir haben einen Prototyp des Webdienstes entwickelt, der auf GCP gehostet wird und die Verwaltung und Protokollierung mehrerer Fahrzeugflotten, deren Client-Geräte und Benutzer ermöglicht. Die Dienste bieten die folgenden Funktionen:

• Verwaltung des Unternehmensprofils sowie der Kunden und Hardware des Unternehmens.
• Registrierung neuer Kunden über die mobile App oder den Browser. 
• Datenbank der Gesichtssignaturen der Kunden (keine Rohfotos der Kunden werden gespeichert, nur deren mathematische Repräsentation, um die Privatsphäre zu wahren).
• Datenaustausch in Echtzeit mit der installierten Flotte von Geräten.
• Zugangskontrolle basierend auf Gesichtserkennung, Anti-Spoofing, Erkennung von Fahrermüdigkeit, Protokollierung von Zeitstempeln und regulärer Zugangskontrolle.
• Abruf von Videomaterial kritischer Ereignisse.
• Erfassung von Geräte- und Kundenmetriken.
• OTA-Firmware-Updates.
• ADAS — fortschrittliches Fahrerassistenzsystem. 
• Warnung der Fahrer vor dem Einschlafen durch Überwachung der Pupillen und der Blinzelrate. 

Geschäftswert

Unser Ingenieurteam hat erfolgreich die Proof-of-Concept-Phase abgeschlossen und das MVP entwickelt und getestet. Wir erreichten eine Erkennungsgenauigkeit von über 99 % bei einer Bildrate von bis zu 16 Bildern pro Sekunde. Das Gerät wurde hergestellt und in den Fahrzeugen des Kunden installiert. 

Ein Ergebnis dieses Projekts ist eine API, die in anderen Bereichen verwendet werden kann. Die Technologie kann zur Fahreridentifikation in der Automobilindustrie, einschließlich Flottenmanagement und Kfz-Versicherung, eingesetzt werden. Sie könnte auch in Überwachungs- und Sicherheitssystemen zur Verbesserung der Identifizierungs- und Verfolgungsmöglichkeiten eingesetzt werden. Darüber hinaus wäre die Technologie nützlich als Zugangssystem für Lagerhallen und ähnliche Umgebungen.