CUDA und cuDNN für GPU mit ONNX Runtime und C# unter Windows 11 konfigurieren
Voraussetzungen
- Windows 11
- Visual Studio 2019 oder 2022
Schritte zur Konfiguration von CUDA und cuDNN für ONNX Runtime mit C# unter Windows 11
-
Laden Sie das CUDA Toolkit herunter und installieren Sie es basierend auf der unterstützten Version für die ONNX Runtime-Version.
-
Laden Sie die cuDNN-Version herunter und installieren Sie sie basierend auf der unterstützten Version für die ONNX Runtime-Version.
Siehe diese Tabelle für unterstützte Versionen
| ONNX Runtime-Version | CUDA Toolkit-Version | cuDNN-Version |
|---|---|---|
| 1.13 - 1.16 | 11.6 | 8.5.0.96 |
| 1.9 - 1.12 | 11.4 | 8.2.2.26 |
HINWEIS: Die vollständige Tabelle finden Sie hier
-
Folgen Sie Abschnitt 2. Installing cuDNN on Windows. HINWEIS: Überspringen Sie Schritt 5 in Abschnitt 2.3 zum Aktualisieren der Visual Studio-Einstellungen. Dies gilt nur für C++-Projekte.
-
Starten Sie Ihren Computer neu und überprüfen Sie die Installation, indem Sie den folgenden Befehl ausführen oder in Python mit PyTorch
nvcc --version
import torch
torch.cuda.is_available()
- Sie können die GPU nun in der C#-ONNX Runtime-API mit dem folgenden Code aktivieren
// keep in mind almost all of the classes are disposable.
using var gpuSessionOptions = SessionOptions.MakeSessionOptionWithCudaProvider(0);
using var session = new InferenceSession(modelPath, gpuSessionOptions);