ONNX Runtime generate() API
Hinweis: Diese API befindet sich in der Vorschau und kann sich ändern.
Führen Sie generative KI-Modelle mit ONNX Runtime aus.
Sehen Sie sich hier den Quellcode an: https://github.com/microsoft/onnxruntime-genai
Diese Bibliothek bietet die generative KI-Schleife für ONNX-Modelle, einschließlich Inferenz mit ONNX Runtime, Logits-Verarbeitung, Suche und Sampling sowie KV-Cache-Management.
Benutzer können eine High-Level-Methode generate() aufrufen oder jede Iteration des Modells in einer Schleife ausführen, dabei jeweils ein Token generieren und optional die Generierungsparameter innerhalb der Schleife aktualisieren.
Sie unterstützt Greedy/Beam-Suche und TopP, TopK-Sampling zur Generierung von Token-Sequenzen sowie integrierte Logits-Verarbeitung wie Wiederholungsstrafen. Sie können auch einfach benutzerdefinierte Bewertungen hinzufügen.