Fehlerbehebung bei Problemen mit der ONNX Runtime generate()-API

Installationsprobleme

Windows Conda Importfehler

ImportError: DLL load failed while importing onnxruntime_genai: A dynamic link library (DLL) initialization routine failed.

Wenn Sie dieses Problem in einer Conda-Umgebung unter Windows sehen, müssen Sie die C++ Runtime für Visual Studio aktualisieren. Führen Sie im Conda-Environment den folgenden Befehl aus:

conda install conda-forge::vs2015_runtime

Das Python-Paket onnxruntime-genai sollte nach diesem zusätzlichen Schritt ohne Fehler ausgeführt werden.

Windows CUDA Importfehler

DLL load failed while importing onnxruntime_genai

Stellen Sie nach Abschluss der CUDA Toolkit-Installation unter Windows sicher, dass die Systemumgebungsvariable CUDA_PATH auf den Pfad gesetzt ist, in dem das Toolkit installiert wurde. Diese Variable wird beim Importieren des onnxruntime_genai Python-Moduls unter Windows verwendet. Eine nicht gesetzte oder falsch gesetzte CUDA_PATH Variable kann zu einem DLL load failed while importing onnxruntime_genai führen.

Inkompatibilität von Transformers / Tokenizers mit ONNX Runtime generate()

RuntimeError: [json.exception.type_error.302] type must be string, but is array

Tritt nur auf, wenn Sie Modelle mit dem Model Builder generieren, nicht mit heruntergeladenen Modellen.

Es gab eine Änderung in der HuggingFace Transformers-Version 4.45.0, die eine Inkompatibilität mit onnxruntime-genai Versionen 0.4.0 und früher verursachte. Diese wurde in Version 0.5.0 behoben. Es gibt zwei alternative Workarounds, die Sie anwenden können, um dieses Problem zu beheben:

  • Option 1: Downgraden Sie Ihre Transformers-Version auf eine Version unter v4.45.0 (die Version, in der die oben genannte Änderung eingeführt wurde).
  • Option 2: Bauen Sie onnxruntime-genai aus dem Quellcode, unter Verwendung dieser Anweisungen aus dem Quellcode bauen.