Paket ai.onnxruntime

Klasse OrtSession

java.lang.Object

ai.onnxruntime.OrtSession

Alle implementierten Schnittstellen

java.lang.AutoCloseable

public class OrtSession
extends java.lang.Object
implements java.lang.AutoCloseable

Kapselt ein ONNX-Modell und ermöglicht Inferenzaufrufe.

Ermöglicht die Inspektion der Eingabe- und Ausgabeknoten des Modells. Erzeugt von einer OrtEnvironment.

Die meisten Instanzmethoden lösen eine IllegalStateException aus, wenn die Sitzung geschlossen ist und die Methoden aufgerufen werden.

Zusammenfassung der verschachtelten Klassen

Verschachtelte Klassen

Modifikator und Typ	Klasse	Beschreibung
static Klasse	OrtSession.Result	Ein AutoCloseable Wrapper um eine Map, die OnnxValues enthält.
static Klasse	OrtSession.RunOptions	Wird verwendet, um die Protokollierung und Beendigung eines Aufrufs von run(java.util.Map<java.lang.String, ? extends ai.onnxruntime.OnnxTensorLike>) zu steuern.
static Klasse	OrtSession.SessionOptions	Repräsentiert die Optionen, die zum Erstellen dieser Sitzung verwendet werden.

Zusammenfassung der Methoden

Modifikator und Typ	Methode	Beschreibung
void	close()	Schließt die Sitzung und gibt ihre Ressourcen frei.
java.lang.String	endProfiling()	Beendet die Profiling-Sitzung und gibt die Ausgabe des Profilers zurück.
java.util.Map<java.lang.String,NodeInfo>	getInputInfo()	Gibt die Info-Objekte für die Eingaben zurück, einschließlich ihrer Namen und Typen.
java.util.Set<java.lang.String>	getInputNames()	Gibt die Eingabenamen zurück.
OnnxModelMetadata	getMetadata()	Ruft die Metadaten für das aktuell geladene Modell ab.
long	getNumInputs()	Gibt die Anzahl der Eingaben zurück, die dieses Modell erwartet.
long	getNumOutputs()	Gibt die Anzahl der Ausgaben zurück, die dieses Modell erwartet.
java.util.Map<java.lang.String,NodeInfo>	getOutputInfo()	Gibt die Info-Objekte für die Ausgaben zurück, einschließlich ihrer Namen und Typen.
java.util.Set<java.lang.String>	getOutputNames()	Gibt die Ausgabenamen zurück.
long	getProfilingStartTimeInNs()	Gibt den Zeitstempel zurück, zu dem das Profiling in Nanosekunden begonnen hat.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung aller abgeleiteten Ausgaben zurück.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs, OrtSession.RunOptions runOptions)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung aller abgeleiteten Ausgaben zurück.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs, java.util.Map<java.lang.String,? extends OnnxValue> pinnedOutputs)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der gepinnten Ausgaben zurück.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs, java.util.Set<java.lang.String> requestedOutputs)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten abgeleiteten Ausgaben zurück.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs, java.util.Set<java.lang.String> requestedOutputs, OrtSession.RunOptions runOptions)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten abgeleiteten Ausgaben zurück.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs, java.util.Set<java.lang.String> requestedOutputs, java.util.Map<java.lang.String,? extends OnnxValue> pinnedOutputs)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten und gepinnten Ausgaben zurück.
OrtSession.Result	run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs, java.util.Set<java.lang.String> requestedOutputs, java.util.Map<java.lang.String,? extends OnnxValue> pinnedOutputs, OrtSession.RunOptions runOptions)	Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten und gepinnten Ausgaben zurück.
java.lang.String	toString()

Methoden geerbt von Klasse java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

Detail der Methoden

getNumInputs

public long getNumInputs()

Gibt die Anzahl der Eingaben zurück, die dieses Modell erwartet.

Rückgabe

Die Anzahl der Eingaben.

getNumOutputs

public long getNumOutputs()

Gibt die Anzahl der Ausgaben zurück, die dieses Modell erwartet.

Rückgabe

Die Anzahl der Ausgaben.

getInputNames

public java.util.Set<java.lang.String> getInputNames()

Gibt die Eingabenamen zurück. Die zugrunde liegende Sammlung wird basierend auf der Eingabe-ID-Nummer sortiert.

Rückgabe

Die Eingabenamen.

getOutputNames

public java.util.Set<java.lang.String> getOutputNames()

Gibt die Ausgabenamen zurück. Die zugrunde liegende Sammlung wird basierend auf der Ausgabe-ID-Nummer sortiert.

Rückgabe

Die Ausgabenamen.

getInputInfo

public java.util.Map<java.lang.String,NodeInfo> getInputInfo()
                                                            throws OrtException

Gibt die Info-Objekte für die Eingaben zurück, einschließlich ihrer Namen und Typen. Die zugrunde liegende Sammlung wird basierend auf der Eingabe-ID-Nummer sortiert.

Rückgabe

Die Eingabeinformationen.

Wirft

OrtException - Wenn ein Fehler im nativen Code aufgetreten ist.

getOutputInfo

public java.util.Map<java.lang.String,NodeInfo> getOutputInfo()
                                                             throws OrtException

Gibt die Info-Objekte für die Ausgaben zurück, einschließlich ihrer Namen und Typen. Die zugrunde liegende Sammlung wird basierend auf der Ausgabe-ID-Nummer sortiert.

Rückgabe

Die Ausgabeinformationen.

Wirft

OrtException - Wenn ein Fehler im nativen Code aufgetreten ist.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung aller abgeleiteten Ausgaben zurück.

Die Ausgaben werden basierend auf ihrer ID-Nummer sortiert.

Parameter

inputs - Die zu bewertenden Eingaben.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Eingabenamen ungültig sind oder wenn es null oder zu viele Eingaben gibt.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs,
                             OrtSession.RunOptions runOptions)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung aller abgeleiteten Ausgaben zurück.

Die Ausgaben werden basierend auf ihrer ID-Nummer sortiert.

Parameter

inputs - Die zu bewertenden Eingaben.

runOptions - Die RunOptions zur Steuerung dieses Laufs.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Eingabenamen ungültig sind oder wenn es null oder zu viele Eingaben gibt.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs,
                             java.util.Set<java.lang.String> requestedOutputs)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten abgeleiteten Ausgaben zurück.

Die Ausgaben werden entsprechend der durchlaufenden Reihenfolge des bereitgestellten Sets sortiert.

Parameter

inputs - Die zu bewertenden Eingaben.

requestedOutputs - Die angeforderten Ausgaben.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Ein- oder Ausgabenamen ungültig sind oder wenn es null oder zu viele Ein- oder Ausgaben gibt.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs,
                             java.util.Set<java.lang.String> requestedOutputs,
                             OrtSession.RunOptions runOptions)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten abgeleiteten Ausgaben zurück.

Die Ausgaben werden entsprechend der durchlaufenden Reihenfolge des bereitgestellten Sets sortiert.

Parameter

inputs - Die zu bewertenden Eingaben.

requestedOutputs - Die angeforderten Ausgaben.

runOptions - Die RunOptions zur Steuerung dieses Laufs.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Ein- oder Ausgabenamen ungültig sind oder wenn es null oder zu viele Ein- oder Ausgaben gibt.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs,
                             java.util.Map<java.lang.String,? extends OnnxValue> pinnedOutputs)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der gepinnten Ausgaben zurück.

Die Ausgaben werden entsprechend der durchlaufenden Reihenfolge der bereitgestellten Map sortiert.

Hinweis: Gepinnten Ausgaben gehören nicht dem OrtSession.Result-Objekt und werden nicht geschlossen, wenn das Ergebnisobjekt geschlossen wird.

Parameter

inputs - Die zu bewertenden Eingaben.

pinnedOutputs - Die angeforderten Ausgaben, die der Benutzer zugewiesen hat.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Ein- oder Ausgabenamen ungültig sind oder wenn es null oder zu viele Ein- oder Ausgaben gibt.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs,
                             java.util.Set<java.lang.String> requestedOutputs,
                             java.util.Map<java.lang.String,? extends OnnxValue> pinnedOutputs)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten und gepinnten Ausgaben zurück.

Die Ausgaben werden entsprechend der durchlaufenden Reihenfolge des bereitgestellten Sets sortiert, wobei gepinnte Ausgaben zuerst und dann angeforderte Ausgaben folgen. Eine IllegalArgumentException wird ausgelöst, wenn derselbe Ausgabenname sowohl in den angeforderten als auch in den gepinnten Ausgaben vorkommt.

Hinweis: Gepinnten Ausgaben gehören nicht dem OrtSession.Result-Objekt und werden nicht geschlossen, wenn das Ergebnisobjekt geschlossen wird.

Parameter

inputs - Die zu bewertenden Eingaben.

requestedOutputs - Die angeforderten Ausgaben, die ORT zuweisen wird.

pinnedOutputs - Die angeforderten Ausgaben, die der Benutzer zugewiesen hat.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Ein- oder Ausgabenamen ungültig sind oder wenn es null oder zu viele Ein- oder Ausgaben gibt.

run

public OrtSession.Result run(java.util.Map<java.lang.String,? extends OnnxTensorLike> inputs,
                             java.util.Set<java.lang.String> requestedOutputs,
                             java.util.Map<java.lang.String,? extends OnnxValue> pinnedOutputs,
                             OrtSession.RunOptions runOptions)
                      throws OrtException

Bewertet einen Eingabe-Feed-Dict und gibt die Zuordnung der angeforderten und gepinnten Ausgaben zurück.

Die Ausgaben werden entsprechend der durchlaufenden Reihenfolge des bereitgestellten Sets sortiert, wobei gepinnte Ausgaben zuerst und dann angeforderte Ausgaben folgen. Eine IllegalArgumentException wird ausgelöst, wenn derselbe Ausgabenname sowohl in den angeforderten als auch in den gepinnten Ausgaben vorkommt.

Hinweis: Gepinnten Ausgaben gehören nicht dem OrtSession.Result-Objekt und werden nicht geschlossen, wenn das Ergebnisobjekt geschlossen wird.

Parameter

inputs - Die zu bewertenden Eingaben.

requestedOutputs - Die angeforderten Ausgaben, die ORT zuweisen wird.

pinnedOutputs - Die angeforderten Ausgaben, die der Benutzer zugewiesen hat.

runOptions - Die RunOptions zur Steuerung dieses Laufs.

Rückgabe

Die abgeleiteten Ausgaben.

Wirft

OrtException - Wenn es einen Fehler im nativen Code gab, die Ein- oder Ausgabenamen ungültig sind oder wenn es null oder zu viele Ein- oder Ausgaben gibt.

getMetadata

public OnnxModelMetadata getMetadata()
                              throws OrtException

Ruft die Metadaten für das aktuell geladene Modell ab.

Rückgabe

Die Metadaten.

Wirft

OrtException - Wenn der native Aufruf fehlgeschlagen ist.

getProfilingStartTimeInNs

public long getProfilingStartTimeInNs()
                               throws OrtException

Gibt den Zeitstempel zurück, zu dem das Profiling in Nanosekunden begonnen hat.

Rückgabe

Die Profiling-Startzeit in ns.

Wirft

OrtException - Wenn der native Aufruf fehlgeschlagen ist.

endProfiling

public java.lang.String endProfiling()
                              throws OrtException

Beendet die Profiling-Sitzung und gibt die Ausgabe des Profilers zurück.

Profiling muss in den OrtSession.SessionOptions aktiviert sein, die zum Erstellen dieser Session verwendet wurden.

Rückgabe

Die Profiling-Ausgabe.

Wirft

OrtException - Wenn der native Aufruf fehlgeschlagen ist.

toString

public java.lang.String toString()

Überschreibt

toString in Klasse java.lang.Object

close

public void close()
           throws OrtException

Schließt die Sitzung und gibt ihre Ressourcen frei.

Spezifiziert von

close in Schnittstelle java.lang.AutoCloseable

Wirft

OrtException - Wenn das Schließen fehlgeschlagen ist.