Paket ai.onnxruntime

Klasse OrtEnvironment.ThreadingOptions

  • Alle implementierten Schnittstellen
    java.lang.AutoCloseable
    Umschließende Klasse
    OrtEnvironment
    public static final class OrtEnvironment.ThreadingOptions
extends java.lang.Object
implements java.lang.AutoCloseable
    Steuert die globalen Thread-Pools in der Umgebung. Wird nur verwendet, wenn die Sitzung mit Optionen erstellt wird, bei denen OrtSession.SessionOptions.disablePerSessionThreads() gesetzt ist.

    • Konstruktorübersicht

      Konstruktoren 
      Konstruktor Beschreibung
      ThreadingOptions()
      Erstellt leere Threading-Optionen.

    • Zusammenfassung der Methoden

      Alle Methoden Instanzmethoden Konkrete Methoden 
      Modifikator und Typ Methode Beschreibung
      void close()
      Schließt die Thread-Optionen.
      void setGlobalDenormalAsZero()
      Wenn dies gesetzt ist, bewirkt es, dass Intra-Op- und Inter-Op-Thread-Pools Denormalwerte auf Null leeren.
      void setGlobalInterOpNumThreads​(int numThreads)
      Legt die Anzahl der für die Inter-Operatoren-Parallelität verfügbaren Threads fest (d. h.
      void setGlobalIntraOpNumThreads​(int numThreads)
      Legt die Anzahl der für die Intra-Operatoren-Parallelität verfügbaren Threads fest (d. h.
      void setGlobalSpinControl​(boolean allowSpinning)
      Erlaubt das Drehen von Thread-Pools, wenn deren Warteschlangen leer sind.

      • Methoden geerbt von Klasse java.lang.Object

        clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

    • Konstruktor-Detail

      • ThreadingOptions

        public ThreadingOptions()
        Erstellt leere Threading-Optionen.

    • Detail der Methoden

      • close

        public void close()
        Schließt die Thread-Optionen.
        Spezifiziert von
        close in Schnittstelle java.lang.AutoCloseable

      • setGlobalInterOpNumThreads

        public void setGlobalInterOpNumThreads​(int numThreads)
                                throws OrtException
        Legt die Anzahl der für die Inter-Operatoren-Parallelität verfügbaren Threads fest (d. h. paralleles Ausführen mehrerer Operatoren).

        Wenn es auf 0 gesetzt wird, kann ORT die Anzahl der Threads wählen. Wenn es auf 1 gesetzt wird, wird der Hauptthread verwendet (d. h. es werden keine Thread-Pools verwendet).

        Parameter
        numThreads - Die Anzahl der Threads.
        Wirft
        OrtException - Wenn ein Fehler im nativen Code aufgetreten ist.

      • setGlobalIntraOpNumThreads

        public void setGlobalIntraOpNumThreads​(int numThreads)
                                throws OrtException
        Legt die Anzahl der für die Intra-Operatoren-Parallelität verfügbaren Threads fest (d. h. innerhalb eines einzelnen Operators).

        Wenn es auf 0 gesetzt wird, kann ORT die Anzahl der Threads wählen. Wenn es auf 1 gesetzt wird, wird der Hauptthread verwendet (d. h. es werden keine Thread-Pools verwendet).

        Parameter
        numThreads - Die Anzahl der Threads.
        Wirft
        OrtException - Wenn ein Fehler im nativen Code aufgetreten ist.

      • setGlobalSpinControl

        public void setGlobalSpinControl​(boolean allowSpinning)
                          throws OrtException
        Erlaubt das Drehen von Thread-Pools, wenn deren Warteschlangen leer sind. Dieser Aufruf setzt den Wert für sowohl Inter- als auch Intra-Operatoren-Thread-Pools.

        Wenn die CPU-Auslastung sehr hoch ist, aktivieren Sie dies nicht.

        Parameter
        allowSpinning - Wenn wahr, dürfen die Thread-Pools drehen.
        Wirft
        OrtException - Wenn ein Fehler im nativen Code aufgetreten ist.

      • setGlobalDenormalAsZero

        public void setGlobalDenormalAsZero()
                             throws OrtException
        Wenn dies gesetzt ist, bewirkt es, dass Intra-Op- und Inter-Op-Thread-Pools Denormalwerte auf Null leeren.
        Wirft
        OrtException - Wenn ein Fehler im nativen Code aufgetreten ist.