Entwicklung eines skalierbaren Hochleistungs-Serversystems auf Basis der CXL-Technologie
Projekt in Kürze:
Wir entwickelten ein skalierbares Serversystemkonzept mit CXL-Technologie auf Anfrage eines führenden Anbieters von Hochleistungsrechnern und Cloud-Infrastrukturlösungen. In dieser Lösung können Datenübertragungsraten bis zu 800 Gbps und eine Speicherkapazität von 8192 TB erreicht werden. Durch die Implementierung dieses Systems kann sich unser Kunde als Branchenführer etablieren.
Kunde & Herausforderung
Der Kunde stand vor einer Herausforderung: Die wachsende Nachfrage nach Hochgeschwindigkeits-Datenverarbeitung konnte mit der bestehenden Infrastruktur, die auf herkömmlichen PCIe-Verbindungen basierte, nicht erfüllt werden. Die Herausforderung bestand in Folgendem:
- Engpässe in PCIe-Verbindungen verlangsamten die Datenverarbeitung;
- hohe Kosten für die Wartung und Skalierung der bestehenden Infrastruktur;
- begrenzte Flexibilität und Anpassungsfähigkeit zur Unterstützung verschiedener Rechnerarchitekturen, die auf CPU, GPU und FPGA basieren;
- Datenwachstum und die Notwendigkeit der Skalierbarkeit führten zu Ausfallzeiten und steigenden Kosten.
Daher wandte sich der Kunde mit der Bitte an Promwad, ein CXL-basiertes Serversystem zu entwickeln, das diese Probleme löst.
| Compute Express Link (CXL) ist eine fortschrittliche Technologie, die die Kommunikation zwischen Computerkomponenten verbessert und einen Hochgeschwindigkeits- und kohärenten Speicherzugriff zwischen Prozessoren, Beschleunigern, Speicherpuffern und nichtflüchtigem Speicher ermöglicht. CXL bietet hohe Bandbreite und geringe Latenz, und CXL 2.0-Switches verbessern die Systemeffizienz, indem sie die Verbindung mehrerer Geräte mit einem einzelnen Host ermöglichen. Die Technologie reduziert den Energieverbrauch, indem sie den Speicherzugriff und die Ressourcenteilung optimiert. Im Kontext der Arbeit mit verschiedenen Speichertypen bietet CXL mehrere Vorteile:
Unternehmen können die CXL-Technologie zur Entwicklung neuer Lösungen und Dienste nutzen:
|
Lösung
1. Konzeptentwicklung
Promwad analysierte die Kundenanforderungen und schlug eine Lösung auf Basis von HPC-COM, einem offenen Standard für Embedded Computing-Module, und Switchtec™ Gen 5-Switches mit Firmware-Kontrolle von Microchip vor.
Die PFX- und PAX-Switchtec™ Gen 5-Switches sind so konzipiert, dass sie vielseitig einsetzbar sind und den Aufbau verschiedener Systeme ermöglichen, die auf mögliche Partitionierungen angepasst werden können.
Skalierbares Multi-Host+PFX/PAX+PFX-CXL-Switching, entwickelt bei Promwad
2. Hardware-Design
Unsere Ingenieure wählten die folgenden Komponenten zur Entwicklung eines Multi-Host-Systemkonzepts und zur Erfüllung der Kundenanforderungen aus:
- Eine HPC-COM-Trägerplatine verwaltet die Kommunikation und den Datenfluss zwischen den verschiedenen Systemkomponenten.
- Ein auf Switchtec™ basierendes, skalierbares Highspeed-Backplane zur Bereitstellung schneller Verbindungen zwischen mehreren Geräten.
- Die Nvidia Mellanox NIC PCIe-Karte verbindet das System mit Hochgeschwindigkeitsnetzwerken und ermöglicht schnelle Datenübertragungen.
- Zwei Nvidia GPU-Karten (im Full-Size-PCIe-Format) führen rechenintensive Aufgaben wie Modellierung, KI und Big Data-Analysen in HPC-Systemen aus.
D-Modell eines voll funktionsfähigen Systemclusters für ein Multi-Host-System
3. Software-Entwicklung
Unsere Ingenieure berücksichtigten und integrierten außerdem folgende Software-Komponenten in das Konzept:
- Ein Dateimanager basierend auf DPDK/SPDK und Firmware-Kontrolle auf niedriger Ebene für die Switchtec™-Komponenten;
- Firmware auf niedriger Ebene für Stromsysteme und Systemüberwachung;
- Web-UI/UX;
- Middleware und Software zur Systemsteuerung;
- Middleware-Schicht für den Dateimanager (Erfassung/Aufnahme);
- sowie andere Softwarekomponenten, die in Docker und Kubernetes gekapselt sind: Serversystem, Server-Benutzeroberfläche, Steuerung des Subsystems der Benutzerdatenquellen, Benutzerdienst (Erfassung/Aufnahme/Transkodierung/Streaming) und Backend.
4. System-Spezifikationen
Das neu entwickelte System hat folgende Eigenschaften:
- Netzwerkbandbreite:
- 200 Gb/s für Einzel-Host-Architektur;
- 400-800 Gb/s für Multi-Host-Architektur.
- Speicheraufzeichnungsbandbreite:
- 16 GB/s für Einzel-Host-Architektur;
- 32 GB/s für Multi-Host-Architektur.
- Speicherkapazität:
- Von 16 Hot-Pluggable-NVMe auf 1024 TB für Einzel-Host-Architektur;
- Von 32 Hot-Pluggable-NVMe auf 8192 TB für Multi-Host-Architektur.
Es folgt eine Vergleichstabelle der wichtigsten Parameter für verschiedene Systemkonfigurationen:
|
| Halbes System | Erweitertes halbes System | Vollständiges System |
| Netzwerkbandbreite, Gb/s | 200 | 400 | 800 |
| Speicheraufzeichnungsbandbreite, GB/s | 16 | 24 | 32 |
| Speicherkapazität, TB | 1024 | 4096 | 8192 |
| Anzahl der CPU-Threads, geschätzte Anzahl virtueller Threads | 32 | 64 | 128 |
| Anzahl der GPU/CUDA-Threads, geschätzte Anzahl virtueller Threads | 2048 | 3072 | 4096 |
Geschäftswert
Unser Kunde verfügt nun über ein robustes und skalierbares Serversystem-Konzept, das Übertragungsgeschwindigkeiten von bis zu 800 Gbps und eine Speicherkapazität von 8192 TB bieten kann.
Die Modernisierung des Systems wird es dem Unternehmen ermöglichen, sich auf dem Markt neu zu positionieren, bestehende Kunden zu halten und dank der Zuverlässigkeit und der hohen Geschwindigkeit der Datenübertragung neue Kunden zu gewinnen.
Weitere Lösungen, die wir für Hochleistungsdatenverarbeitung anbieten
- Enterprise NAS: Eine Fallstudie zur Entwicklung eines NAS-Speichersystems mit DPDK/SPDK, das die Datenübertragungsgeschwindigkeit und Netzwerkeffizienz verbessert.
- SPDK & DPDK: Unsere Erfahrungen in der Anwendung von SPDK- und DPDK-Technologien zur Erstellung vollständiger Lösungen für Speicher und andere Netzwerk-Anwendungen.
