Nvidia möchte die Datenübertragung beschleunigen, indem es Rechenzentrums-GPUs mit SSDs verbindet

Mar 12, 2023

Scharon Harding – 17. März 2022, 16:49 Uhr UTC

Microsoft hat diese Woche DirectStorage auf Windows-PCs gebracht. Die API verspricht schnellere Ladezeiten und detailliertere Grafiken, indem sie Spieleentwicklern ermöglicht, Apps zu erstellen, die Grafikdaten von der SSD direkt auf die GPU laden. Jetzt haben Nvidia und IBM eine ähnliche SSD/GPU-Technologie entwickelt, die jedoch auf die riesigen Datenmengen in Rechenzentren abzielt.

Anstatt auf Konsolen- oder PC-Spiele wie DirectStorage abzuzielen, soll Big Accelerator Memory (BaM) Rechenzentren schnellen Zugriff auf große Datenmengen in GPU-intensiven Anwendungen wie maschinellem Lernen, Analysen und Hochleistungsrechnen ermöglichen zu einem Forschungsbericht, der diese Woche von The Register entdeckt wurde. Mit dem Titel „BaM: A Case for Enabling Fine-grain High Throughput GPU-Orchestrated Access to Storage“ (PDF) schlägt das Papier von Forschern von Nvidia, IBM und einigen US-Universitäten eine effizientere Möglichkeit vor, Anwendungen der nächsten Generation auszuführen Rechenzentren mit enormer Rechenleistung und Speicherbandbreite.

BaM unterscheidet sich von DirectStorage auch dadurch, dass die Entwickler der Systemarchitektur planen, sie als Open Source zu veröffentlichen.

In dem Papier heißt es, dass der CPU-orchestrierte Speicherdatenzugriff zwar für „klassische“ GPU-Anwendungen geeignet ist, wie z. B. das Training dichter neuronaler Netzwerke mit „vordefinierten, regelmäßigen, dichten“ Datenzugriffsmustern, dass er jedoch zu viel „CPU-GPU-Synchronisierungsaufwand“ verursacht und/oder oder I/O-Verkehrsverstärkung.“ Das macht es weniger geeignet für Anwendungen der nächsten Generation, die Diagramm- und Datenanalysen, Empfehlungssysteme, grafische neuronale Netze und andere „feinkörnige datenabhängige Zugriffsmuster“ nutzen, schreiben die Autoren.

Wie DirectStorage funktioniert BaM mit einer NVMe-SSD. Dem Papier zufolge verringert BaM „die Verstärkung des I/O-Verkehrs, indem es den GPU-Threads ermöglicht, kleine Datenmengen nach Bedarf zu lesen oder zu schreiben, wie vom Computer festgelegt.“

Genauer gesagt nutzt BaM den integrierten Speicher einer GPU, bei dem es sich um einen softwareverwalteten Cache handelt, sowie eine GPU-Thread-Softwarebibliothek. Die Threads empfangen Daten von der SSD und verschieben sie mithilfe eines benutzerdefinierten Linux-Kernel-Treibers. Die Forscher führten Tests an einem Prototypsystem mit einer Nvidia A100 40 GB PCIe-GPU, zwei AMD EPYC 7702-CPUs mit jeweils 64 Kernen und 1 TB DDR4-3200-Speicher durch. Auf dem System läuft Ubuntu 20.04 LTS.

Die Autoren stellten fest, dass selbst eine „Consumer-Grade“-SSD BaM mit einer App-Leistung unterstützen könnte, die „im Vergleich zu einer viel teureren reinen DRAM-Lösung konkurrenzfähig ist“.