Entwicklung von Enterprise- Datenspeichersystemen
Projektüberblick: Wir haben ein Enterprise-NAS-System (Network Attached Storage) mit DPDK/SPDK-Unterstützung entwickelt, um die Datenübertragungsgeschwindigkeit und die Netzwerkeffizienz für einen europäischen Kunden zu verbessern. Das skalierbare und tragbare Design bietet Videostreaming in NDI-Streaming-Netzwerken, eine modifizierbare Speichereinheit, ein Dual-Power-System für Zuverlässigkeit und leistungsfähige I/O-Einheiten.
Kunde & Herausforderung
Ein europäisches Unternehmen beauftragte uns mit der Entwicklung eines Enterprise-Datenspeichersystems (NAS-Gerät) mit DPDK/SPDK-Unterstützung und der Möglichkeit, Videos in NDI-Streaming-Netzwerken zu übertragen. Das Gerät sollte optimale Leistung bei der Aufnahme, Speicherung, Codierung/Dekodierung und dem Streaming von mehreren Profikameras gewährleisten und sollte mit standardmäßigen sowie angepassten Speicherclustern auf Basis von SAS, SSD NVMe und CFexpress verwendet werden können.
Lösung
1. Konzeptentwicklung
Unsere Arbeit umfasste zwei Bereiche:
- Hardware-Design: Entwurf von Schaltplänen und Leiterplatten zur Sicherstellung optimaler Kapazität unter Verwendung der anpassbaren Speichercluster, hoher Leistung, Skalierbarkeit und Modularität der Lösung.
- Softwareentwicklung für die Datenspeicherung zur Erleichterung einer effizienten Videoverwaltung, Kodierung/Dekodierung und nahtlosen Streaming-Funktionen.
Die Hardwarelösung besteht aus vier Komponenten, die zur Skalierbarkeit, Zuverlässigkeit und Leistung beitragen:
1. Modifizierbare Speichereinheit:
- Eine reibungslose Software-GUI steuert eine Hot-Plug-Fähigkeit unter Verwendung von SPDK oder ZFS als RAID 0.
- Eine kundenspezifische Hardwarelösung: mit verschiedenen Optionen zur Skalierung des Speicherarrays, bietet verschiedene PCIe-Lanes und SSD NVMe / CF-express Type C Kombinationen.
2. Zuverlässige Stromversorgungseinheit:
- Kompakte OEM-Stromversorgungseinheiten und innovative Schaltpläne für die Stromversorgung durch V-Mount-Batterien.
- Ein Dual-Power-System gewährleistet eine kontinuierliche, zuverlässige Stromversorgung.
3. Hochleistungs-I/O-Einheit:
- Maximierte Konnektivität. Sie verfügt über eine PCIe 1x16-Erweiterung und hochgeschwindigkeits-OEM-NIC PCIe 4.0 x16 / Dual-Port 100G.
- Lokale Verwaltung über Videomonitor und USB-Schnittstellen.
4. Die robuste Prozessoreinheit ist so ausgestattet, dass sie zwei PCIe-Karten RTX A4500 beherbergen kann, die eine konkurrenzlose Rechenleistung für die Videodekodierung (bis zu 8K / 60 fps) bieten.
Die hochrangige Hardwarearchitektur des NAS-Geräts und dessen Kommunikation mit externen Geräten
3. Softwareentwicklung
Die Systemleistung wurde durch die Verwendung von DPDK/SPDK verbessert, was uns half, die folgenden Probleme zu lösen:
- Paketrahmen-Management. DPDK ermöglicht den Zugriff auf paketierte Frames, kompiliert sie im physischen Speicher und sendet sie zur Decodierung an die GPU, während der Frame gleichzeitig mit Hilfe von Datenspeicherungs-Software auf der Festplatte gespeichert wird.
- Verbesserte Leistung durch Zero-Copy. Durch den Empfang von Paketen, die den Kernel mittels Zero-Copy umgehen, bietet das entwickelte System eine zwei- bis dreifache Leistungssteigerung gegenüber Standardtechnologien wie Linux-Sockets.
- SPDK-Integration. Durch die Nutzung von DPDK für Datenspeicher stellt das Projekt die Zero-Copy-Paketrückholung sicher und steigert die Leistung erheblich im Vergleich zu traditionellen Technologien wie Linux-Sockets. Darüber hinaus deutet die Integration von SPDK auf das Potenzial hin, die Datenspeichergeschwindigkeiten in Zukunft zu verdoppeln.
- Fortgeschrittenes Hot-Plugging und Speicherverwaltung. Das Projekt schützt Daten und vereinfacht die Speicherverwaltung durch die Verwendung von SPDK oder ZFS als RAID 0 für SSD NVMe/CFexpress und unterstützt softwaregesteuertes Hot-Plugging über eine GUI.
Geschäftswert
Das neue NAS-Speichersystem mit DPDK/SPDK verbessert die Datenübertragungsgeschwindigkeit und Netzwerkeffizienz. Das Projekt weist mehrere Wettbewerbsvorteile auf, die seine Leistung und Benutzerfreundlichkeit verbessern. Das Design ist sowohl skalierbar als auch portabel. Durch die modifizierbare Speichereinheit und die verschiedenen Speicherkartenoptionen lässt sich das System skalieren und gleichzeitig flexibel transportieren und an verschiedenen Orten aufstellen.
Das duale Stromversorgungssystem ist ein wichtiges Merkmal, das zur Energieoptimierung beiträgt.
Dieses System verwendet kompakte OEM-Stromversorgungseinheiten und nutzt eine V-Mount-Batterieversorgungsmethode, um einen zuverlässigen und unterbrechungsfreien Betrieb in verschiedenen Umgebungen zu gewährleisten.
Unser Fachwissen hat die Integration von robustem NDI-Streaming ermöglicht, wodurch das Medien-Streaming ein neues Niveau an Effizienz und Zuverlässigkeit erreicht. Diese Funktion bietet nahtloses und hochwertiges Streaming über Ethernet.
Mehr von dem, was wir mit DPDK/SPDK tun
- SPDK- und DPDK-Lösungen: Erforschen Sie unsere Ingenieursexpertise in der Hochgeschwindigkeitsdatenübertragung — bis zu 10 Mal schneller als der Linux-Kernel-Netzwerkstack.
- TCP PEP und QoS-Softwaremodule: Wir haben DPDK für ein HTS-Satellitenkommunikationssystem für einen führenden Anbieter von Satellitentelekommunikationsausrüstung eingesetzt.
