Paket ai.onnxruntime

Eine Java-Schnittstelle für ONNX Runtime.

Bietet Zugriff auf dieselben Ausführungs-Backends wie die C-Bibliothek. In Java nicht darstellbare Typen (wie fp16) werden bei Zugriff über diese API in den nächstgelegenen Java-Primitivtyp konvertiert.

Es werden zwei gemeinsam genutzte Bibliotheken benötigt: onnxruntime und onnxruntime4j_jni. Der Lader befindet sich in OnnxRuntime und die Logik ist in dieser Reihenfolge:

1. Der Benutzer kann das Laden einer gemeinsam genutzten Bibliothek überspringen, indem er eine Eigenschaft im Format onnxruntime.native.LIB_NAME.skip mit dem Wert true setzt. Dies bedeutet, dass der Benutzer beschlossen hat, die Bibliothek auf andere Weise zu laden.
2. Der Benutzer kann einen expliziten Speicherort für alle nativen Bibliotheksdateien über eine Eigenschaft im Format onnxruntime.native.path angeben. Dies verwendet System.load(java.lang.String).
3. Der Benutzer kann einen expliziten Speicherort für die gemeinsam genutzte Bibliotheksdatei über eine Eigenschaft im Format onnxruntime.native.LIB_NAME.path angeben. Dies verwendet System.load(java.lang.String).
4. Die gemeinsam genutzte Bibliothek wird automatisch erkannt
   1. Wenn die gemeinsam genutzte Bibliothek in den Klassenpfadressourcen vorhanden ist, wird sie über eine temporäre Datei mit System.load(java.lang.String) geladen. Idealerweise sollte dies der Standardfall sein, wenn JARs/Abhängigkeiten, die die gemeinsam genutzten Bibliotheken enthalten, zu Ihrem Klassenpfad hinzugefügt werden.
   2. Wenn die gemeinsam genutzte Bibliothek nicht in den Klassenpfadressourcen vorhanden ist, wird sie über System.loadLibrary(java.lang.String) geladen, die normalerweise an anderer Stelle im Dateisystem nach der Bibliothek sucht. Die Semantik und das Verhalten dieser Methode sind system-/JVM-abhängig. Typischerweise wird die Eigenschaft java.library.path verwendet, um den Speicherort nativer Bibliotheken anzugeben.

Zur Fehlerbehebung werden alle Ladevorgänge von gemeinsam genutzten Bibliotheken auf der Java-Logging-Ebene FINE gemeldet.

Beachten Sie, dass CUDA, ROCM, DNNL, OpenVINO und TensorRT allesamt "gemeinsam genutzte Bibliotheksausführungsanbieter" sind und entweder im Verzeichnis gespeichert werden müssen, das die native ONNX Runtime-Kernbibliothek enthält, oder als Klassenpfadressource. Dies liegt daran, dass diese Anbieter von der nativen ONNX Runtime-Bibliothek selbst geladen werden und die Java-API den Ladespeicherort nicht steuern kann.

Schnittstellenübersicht

Schnittstelle	Beschreibung
OnnxValue	Oberste Schnittstelle für Eingabe- und Ausgabewerte von ONNX-Modellen.
OrtProviderOptions.OrtProviderSupplier	Funktionales Interface, das einen Java-Supplier spiegelt, aber eine OrtException auslösen kann.
ValueInfo	Schnittstelle für Informations-Objekte, die einen OnnxValue beschreiben.

Klassenzusammenfassung

Klasse	Beschreibung
MapInfo	Beschreibt ein OnnxMap-Objekt oder einen Ausgabe-Knoten.
NodeInfo	Die Informationen für einen Eingabe- oder Ausgabe-Knoten aus einem ONNX-Modell.
OnnxMap	Ein Container für eine Map, die von OrtSession.run(Map) zurückgegeben wird.
OnnxModelMetadata	Enthält die Metadaten, die mit einem ONNX-Modell verknüpft sind.
OnnxSequence	Eine Sequenz von OnnxValues desselben Typs.
OnnxSparseTensor	Ein Java-Objekt, das einen OnnxSparseTensor umschließt.
OnnxSparseTensor.BlockSparseTensor	Die Java-Darstellung eines Block-Sparse-Tensors.
OnnxSparseTensor.COOTensor	Die Java-seitige Darstellung eines COO-Sparse-Tensors.
OnnxSparseTensor.CSRCTensor	Die Java-seitige Darstellung eines CSRC-Sparse-Tensors.
OnnxSparseTensor.SparseTensor<T extends java.nio.Buffer>	Abstrakte Basisklasse für Java Sparse Tensors
OnnxTensor	Ein Java-Objekt, das einen OnnxTensor umschließt.
OnnxTensorLike	Derzeit implementiert von OnnxTensor, OnnxSparseTensor.
OrtEnvironment	Das Host-Objekt für das ONNX Runtime-System.
OrtEnvironment.ThreadingOptions	Steuert die globalen Thread-Pools in der Umgebung.
OrtLoraAdapter	Ein Container für einen Adapter, der an OrtSession.RunOptions.addActiveLoraAdapter(OrtLoraAdapter) übergeben werden kann, um den Adapter auf eine bestimmte Ausführung eines Modells anzuwenden.
OrtProviderOptions	Eine abstrakte Basisklasse für Klassen mit Optionen für den Ausführungsanbieter.
OrtSession	Kapselt ein ONNX-Modell und ermöglicht Inferenzaufrufe.
OrtSession.Result	Ein AutoCloseable Wrapper um eine Map, die OnnxValues enthält.
OrtSession.RunOptions	Wird zur Steuerung der Protokollierung und Beendigung eines Aufrufs von OrtSession.run(java.util.Map<java.lang.String, ? extends ai.onnxruntime.OnnxTensorLike>) verwendet.
OrtSession.SessionOptions	Repräsentiert die Optionen, die zum Erstellen dieser Sitzung verwendet werden.
OrtTrainingSession	Umschließt ein ONNX-Trainingsmodell und ermöglicht Trainings- und Inferenzaufrufe.
OrtUtil	Hilfsprogrammcode für die Interaktion mit Java-Arrays.
SequenceInfo	Beschreibt eine OnnxSequence, einschließlich ihres Elementtyps, falls bekannt.
TensorInfo	Beschreibt einen OnnxTensor, einschließlich seiner Größe, Form und seines Elementtyps.

Aufzählungübersicht

Aufzählung	Beschreibung
OnnxJavaType	Eine Aufzählung, die unterstützte Java-Primitivtypen von ONNX Runtime (und String) darstellt.
OnnxMap.OnnxMapValueType	Eine Enum, die den Java-Typ der in einer OnnxMap gespeicherten Werte darstellt.
OnnxSparseTensor.SparseTensorType	Der Typ des Sparse-Tensors.
OnnxValue.OnnxValueType	Der Typ des OnnxValue, der die ID in der C-API widerspiegelt.
OrtException.OrtErrorCode	Bildet die OrtErrorCode-Struktur in onnxruntime_c_api.h mit einem zusätzlichen Eintrag für Java-seitige Fehler ab.
OrtLoggingLevel	Die Schweregradstufe des Protokolls.
OrtProvider	Die über die Java API verfügbaren Ausführungsanbieter.
OrtSession.SessionOptions.ExecutionMode	Der zu verwendende Ausführungsmodus.
OrtSession.SessionOptions.OptLevel	Das zu verwendende Optimierungslevel.
TensorInfo.OnnxTensorType	Die nativen Elementtypen, die von der ONNX Runtime unterstützt werden.

Ausnahmezusammenfassung

Ausnahme	Beschreibung
OrtException	Eine Ausnahme, die die von der nativen onnxruntime erzeugte Fehlermeldung und den Fehlercode enthält.