AI-Kameraplattform für den externen Fahrzeugzugang

Projekt kurz zusammengefasst:

Promwad führte ein internes F&E-Projekt durch, um eine wiederverwendbare AI-Kameraplattform für den externen Fahrzeugzugang zu entwickeln. Das Ziel: validieren, dass Gestenerkennung, Fahrer-Gesichtsidentifikation und Parkraumüberwachung auf einem einzigen automotive-tauglichen Chip laufen können — innerhalb der Latenz- und Leistungsaufnahmegrenzen, die die Serienproduktion erfordert, und mit ASPICE-CL2-Prozessbereitschaft bereits ab der Architekturphase.

Die Plattform liefert: Gestenentscheidung unter 120 ms, Gesichtserkennungsgenauigkeit über 99 %, Deep-Sleep-Leistungsaufnahme unter 100 µA. Geschätzte Hardwarekosten: unter 80 USD bei 10.000 Einheiten, unter 49 USD bei 1 Mio.+ Einheiten. Die gesamte Verarbeitung läuft auf dem Gerät, ohne Cloud-Abhängigkeit.

Herausforderung

Biometrische und gestenbasierte Fahrzeugzugangssysteme sind bei vielen Automobilherstellern in Asien und Europa bereits in die Serienproduktion eingezogen; dazu gehören Keyless-Entry-Systeme mit Gesichtserkennung und gestengesteuerter Türöffnung. Die Nachfrage nach solchen Systemen ist etabliert. Die meisten OEMs außerhalb dieser frühen Gruppe stecken jedoch noch in der F&E fest, blockiert durch dieselben drei Probleme:

• Standard-Computer-Vision-Modelle lassen sich ohne erhebliche kundenspezifische Anpassungen nicht auf Automotive-Prozessoren skalieren.

• Die Leistungsbudgets für Always-on-Außenkameras sind so knapp, dass eine falsche Architekturentscheidung ein Hardware-Redesign erzwingen kann.

• ASPICE-Prozessanforderungen lassen sich nicht nachträglich anhängen; sie müssen von Anfang an integriert werden.

Lösung

Promwad entwickelte die Plattform so, dass alle drei Probleme auf einer einzigen Hardwarebasis gelöst werden.

Die Plattform integriert Gestenerkennung, Fahreridentifikation und Parkraumüberwachung auf einem einzigen Ambarella CVflow System-on-Chip. Der Moduswechsel wird in der Firmware gesteuert, sodass dieselbe Hardware über verschiedene Fahrzeugprogramme hinweg funktioniert.

Wir entschieden uns für die CVflow-Familie, weil sie Bildverarbeitung und AI-Inferenz auf einem einzigen automotive-tauglichen Chip ausführt, der für Edge AI in Automotive-Kameraanwendungen geeignet ist. Der Entwicklungsprozess wurde von Anfang an an den Anforderungen von ASPICE CL2 ausgerichtet.

Gestenbasierter Zugang. Der Prototyp erfasst das erste Videoframe innerhalb von 100 ms nach dem CAN-Wake-up-Signal und liefert innerhalb von 120 ms eine Gestenentscheidung, gemessen in der getesteten Konfiguration. Das ist schnell genug, damit alles unmittelbar an der Tür passiert. Die Pipeline nutzt das Google MediaPipe Framework, angepasst für den Betrieb auf unserer Hardware.

Gesichtsprofilierung. Die Erkennung beginnt, sobald sich der Fahrer dem Fahrzeug nähert. Sobald eine Übereinstimmung bestätigt ist, wird das personalisierte Profil über den Fahrzeugbus geladen, noch bevor der Fahrer Platz nimmt: Sitzposition, Spiegel, Klimaregelung und Fahrmodus. In einem gemeinsam genutzten Fahrzeug entfällt dadurch die Notwendigkeit manueller Anpassungen bei jedem Fahrerwechsel. Im Prototyp-Testaufbau lag die Genauigkeit der Gesichtsverifikation für zwei registrierte Nutzer unter definierten Testbedingungen bei über 99 %. Die Erkennung läuft vollständig auf dem Gerät; keine biometrischen Daten verlassen das Fahrzeug.

Sentry Vision. Im geparkten Zustand schläft das System bei unter 100 µA. Ein Bewegungsauslöser weckt es, das System klassifiziert, was es sieht — etwa eine vorbeigehende Person im Vergleich zu jemandem, der das Fahrzeug inspiziert —, sendet eine Benachrichtigung an die App des Besitzers und speichert einen kurzen Clip. Der Verzicht auf kontinuierliche Aufzeichnung reduziert das Speichervolumen und unterstützt Privacy-by-Design-Prinzipien. Die endgültige DSGVO-Konformität hängt von der Aufbewahrungsrichtlinie, der Einwilligung der Nutzer, dem Umgang mit biometrischen Daten und dem OEM-Deployment-Kontext ab.

Ergebnisse

Für Automobilhersteller und Tier-1-Zulieferer, die Entwicklungsprogramme für externe Vision-Systeme starten, eliminiert diese Plattform die Konfigurationsphase, die die Serienreife typischerweise verzögert. MediaPipe Modelle wurden bereits auf CVflow portiert, die Systemarchitektur wurde validiert, und die ASPICE-CL2-Prozessgrundlage ist bereits vorhanden. Das Entwicklungsteam startet mit einer einsatzbereiten Basisversion, die durch nachgewiesene Testergebnisse abgesichert ist, statt bei null anzufangen. 

Die Architektur skaliert innerhalb der bestehenden ECU-Grenzen: zusätzliche Gesten, mehr registrierte Nutzer für die Gesichtserkennung sowie die Integration mit Fahrzeug- oder Flottenmanagement-Anwendungen. Nichts davon erfordert ein Hardware-Redesign. 

Was wir anbieten

Die Plattform ist als Ausgangspunkt für zwei Arten von Engagements verfügbar. 

Anpassung an Ihr Programm. Wenn Sie ein externes Vision-System für ein Fahrzeug oder Industrieprodukt entwickeln, können wir die Plattform an Ihre Hardware, Ihren Use Case und Ihre Integrationsanforderungen anpassen. Modellportierung, Leistungsvalidierung und ASPICE-CL2-Dokumentationsgrundlage sind bereits erledigt. 

Proof of Concept. Ein Engagement mit festem Umfang zur Validierung von Gestenzugang und Gesichtserkennung an Ihrem Zielfahrzeug, mit definierten Erfolgskriterien und einem klaren Pfad zur Serienintegration am Ende. 

Mehr zu unserer Arbeit im Bereich Automotive Vision

• Automotive-Vision-Systeme: entdecken Sie unsere Expertise in Automotive-Kamerasystemen für Pkw, Lkw und Nutzfahrzeuge.
  
• Zugangskontrollsystem: sehen Sie, wie wir ein Embedded-Gesichtserkennungssystem für die Zugangskontrolle im Carsharing entwickelt und getestet haben.
  
• Lattice FPGA für digitale Rückspiegel im Überblick: lesen Sie unsere Analyse, warum Lattice-FPGAs gut für digitale Rückspiegel und kamerabasierte ADAS geeignet sind.