ONNX Runtime generate() API installieren

• Python-Paketinstallation
• Nuget-Paketinstallation

Python-Paketinstallation

Hinweis: Nur eines dieser Paketsets (CPU, DirectML, CUDA) sollte in Ihrer Umgebung installiert werden.

CPU

pip install onnxruntime-genai

DirectML

pip install onnxruntime-genai-directml

CUDA

Wenn Sie die CUDA-Variante von onnxruntime-genai installieren, muss das CUDA Toolkit installiert sein.

Das CUDA Toolkit kann vom CUDA Toolkit-Archiv heruntergeladen werden.

Stellen Sie sicher, dass die Umgebungsvariable CUDA_PATH auf den Speicherort Ihrer CUDA-Installation gesetzt ist.

CUDA 12

pip install onnxruntime-genai-cuda

CUDA 11

Um diese API mit CUDA 11 zu verwenden, müssen Sie aus dem Quellcode erstellen und installieren.

Nuget-Paketinstallation

Hinweis: Installieren Sie nur eines dieser Pakete (CPU, DirectML, CUDA) in Ihrem Projekt.

Voraussetzungen

ONNX Runtime Abhängigkeit

ONNX Runtime generate() Versionen 0.3.0 und früher wurden mit den Kern-ONNX Runtime Binärdateien gebündelt. Ab Version 0.4.0 sind die Pakete getrennt, um eine flexiblere Entwicklererfahrung zu ermöglichen.

CPU

dotnet add package Microsoft.ML.OnnxRuntimeGenAI

CUDA

Hinweis: Nur CUDA 11 wird für Versionen 0.3.0 und früher unterstützt, und nur CUDA 12 wird für Versionen 0.4.0 und später unterstützt.

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.Cuda

DirectML

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML