On-Device Conversational Edge AI für Multi-Kamera-Vision-Systeme

Das Projekt auf einen Blick: Dieses von Promwad intern entwickelte Edge-AI-Referenzdesign zeigt, wie eine autarke dialogbasierte Bedienebene für Embedded-Vision-Produkte aussehen kann. Es kombiniert zwei NXP-Plattformen, den Applikationsprozessor i.MX 95 und das Board FRDM i.MX 8M Plus, mit dem separaten KI-Beschleuniger NXP Ara240. Darauf laufen Multi-Kamera-Videoanalysen parallel zu einem lokalen Agenten auf Basis eines Large Language Models (LLM), der natürlichsprachliche Befehle verarbeitet. Sämtliche Prozesse laufen direkt auf dem Gerät, ohne Cloud-Anbindung oder externe Abhängigkeiten. Die Ingenieure von Promwad präsentierten die Demo auf den NXP Tech Days in Istanbul (2025) und Stuttgart (2026).

Herausforderung

Edge AI entwickelt sich zunehmend zu einem Differenzierungsmerkmal für Produkte mit integrierter Bildverarbeitung. Automobilhersteller experimentieren seit Jahren mit Gestensteuerung, während neuere Elektrofahrzeughersteller diese Technologie deutlich weiterentwickelt haben, etwa für ferngesteuertes Einparken und umfangreiche Interaktionen im Fahrzeuginnenraum. Die eigentliche Herausforderung liegt in der technischen Umsetzung.

Teams, die solche Produkte entwickeln, stehen immer wieder vor denselben drei Problemen:

Jedes Team, das Multi-Kamera-Produkte auf den Markt bringt, steht vor derselben Herausforderung: Wie lässt sich eine natürlichsprachliche, bildverarbeitungsgestützte Benutzeroberfläche integrieren, ohne Abstriche bei Latenz, Datenschutz oder der bestehenden Plattform machen zu müssen?

Lösung

Die drei Plattformen arbeiten als eine gemeinsame dialogbasierte Benutzeroberfläche.

Ein einziger natürlichsprachlicher Befehl konfiguriert das laufende System neu: „Nur Kamera 2 anzeigen“, alle Personen abrufen, die in den letzten 30 Minuten eine Kamera passiert haben, einer Geste eine Aktion zuweisen oder einen Kamera-Stream vergrößern. Um zu zeigen, wie tief diese Steuerung reicht, kann der Agent sogar die Bildverarbeitungspipeline steuern. Über den Neo ISP, den Bildsignalprozessor des i.MX 95, kann er ein Kamerabild aufhellen oder abdunkeln, den Kontrast erhöhen oder auf Schwarz-Weiß umschalten. Erkannte Ereignisse werden parallel auf einem über CAN (Controller Area Network) angebundenen LED-Panel angezeigt, ähnlich wie sie von einem Automotive-Steuergerät (Electronic Control Unit, ECU) verarbeitet würden.

Da der Ara240 als M.2-M-Key-Modul ausgeführt ist, kann das KI-Workload skaliert werden, ohne den Basis-SoC auszutauschen. Gleichzeitig bleibt die gesamte Verarbeitungspipeline auf dem Gerät.

Geschäftlicher Nutzen und Anwendungsbereiche

Für einen OEM oder Tier-1-Zulieferer zeigt dieses Referenzdesign, wie sich eine Edge-AI-Benutzeroberfläche als zusätzliche Ebene über dem zentralen Display und Sprachassistenten integrieren lässt, ohne die üblichen Kompromisse eingehen zu müssen.

• Automotive und Transport. Gesten- und natürlichsprachliche Steuerung von Multi-Kamera-Systemen, wobei erkannte Ereignisse über CAN an ein Steuergerät übermittelt werden. Relevant für die Interaktion mit digitalen Cockpits und In-Vehicle-Infotainment-Systemen (IVI), die Fahrer- und Innenraumüberwachung sowie Rundumsichtsysteme.

• Industrieautomatisierung. Natürlichsprachliche Bedienung von Multi-Kamera-Systemen in Umgebungen, in denen keine zuverlässige Cloud-Verbindung gewährleistet ist. Relevant für Inspektions- und Überwachungsstationen, die mehrere Kamera-Streams verarbeiten.

Der entscheidende Vorteil liegt in der wirtschaftlichen Effizienz der technischen Architektur. Multi-Kamera-Streaming, Objekterkennung, Gestenerkennung, promptgesteuerte Analysen und CAN-Integration laufen vollständig auf dem Gerät und benötigen lediglich zwei NXP-Entwicklungsboards sowie einen einzelnen M.2-Beschleuniger.

Weitere Leistungen von uns im Bereich Edge AI

• Edge-AI-Entwicklung: Entdecken Sie unser vollständiges Leistungsspektrum im Bereich Edge AI, von On-Device-Bildverarbeitung und Modellintegration bis hin zu serienreifen Embedded-Systemen.

• KI-Kameraplattform für den Fahrzeugzugang: Erfahren Sie in dieser Fallstudie mehr über eine Lösung für gestengesteuerten Zugang und Gesichtserkennung, die auf einem einzigen Automotive-Chip läuft und für die Anpassung durch OEMs bereit ist.