Adobe
Mit ONNX Runtime erhielt Adobe Target Flexibilität und Standardisierung in einem Paket: Flexibilität für unsere Kunden, ML-Modelle in den Frameworks ihrer Wahl zu trainieren, und Standardisierung für die robuste Bereitstellung dieser Modelle in großem Maßstab für schnelle Inferenz, um echte personalisierte Erlebnisse in Echtzeit zu liefern.
-Georgiana Copil, Senior Computer Scientist, Adobe
AMD
Die ONNX Runtime-Integration mit AMDs ROCm Open-Software-Ökosystem hilft unseren Kunden, die Leistung von AMD Instinct GPUs zu nutzen, um ihre großen Machine-Learning-Modelle mit Flexibilität über mehrere Frameworks hinweg zu beschleunigen und zu skalieren.
-Andrew Dieckmann, Corporate Vice President and General Manager, AMD Data Center GPU & Accelerated Processing
Ant Group
Durch die Verwendung von ONNX Runtime haben wir die Inferenzleistung vieler Computer-Vision- (CV) und Natural-Language-Processing- (NLP) Modelle, die von mehreren Deep-Learning-Frameworks trainiert wurden, verbessert. Diese sind Teil des Alipay-Produktionssystems. Wir planen, ONNX Runtime als hochperformanten Inferenz-Backend für weitere Deep-Learning-Modelle in breiten Anwendungen wie Click-Through-Rate-Vorhersage und Cross-Modal-Vorhersage zu verwenden.
-Xiaoming Zhang, Head of Inference Team, Ant Group
Algoriddim
Bei Algoriddim verwenden wir ONNX Runtime auf Windows-Geräten, um unsere Neural Mix™-Funktion zu betreiben, die es Benutzern ermöglicht, Gesang und Instrumente jedes Liedes in Echtzeit zu isolieren, sowie unsere Automix-Funktion, die nahtlose automatische DJ-Mixe ermöglicht. ONNX Runtime bietet die perfekte Balance zwischen Abstraktion und Flexibilität, und die Verwendung des QNN Execution Providers ermöglicht es uns, die NPU auf Copilot+ PCs für eine unübertroffene Inferenzleistung zu nutzen und gleichzeitig die CPU für andere Aufgaben frei zu halten.
-Frederik Seiffert, CTO, Algoriddim
Atlas Experiment
Am CERN im ATLAS-Experiment haben wir die C++-API von ONNX Runtime in unser Software-Framework Athena integriert. Wir führen derzeit Inferenz mit ONNX-Modellen durch, insbesondere bei der Rekonstruktion von Elektronen und Myonen. Wir profitieren von der C++-Kompatibilität, den Plattform-zu-ONNX-Konvertern (* Keras, TensorFlow, PyTorch usw.) und der Thread-Sicherheit.
-ATLAS Experiment-Team, CERN (Europäische Organisation für Kernforschung)
Autodesk
Der Einsatz von ONNX Runtime durch Autodesk Flame bietet erhebliche Vorteile in Bezug auf plattformübergreifende Kompatibilität und Leistung und bietet Künstlern die Flexibilität und Interaktivität, die sie erwarten. Dies ermöglicht es ihnen, maschinelle Lernmodelle direkt in den kreativen Werkzeugkasten von Flame zu integrieren, die Qualität ihrer Arbeit zu verbessern und die Erweiterbarkeit der Software zu erhöhen. Das ONNX Runtime-Team von Microsoft hat während des gesamten Entwicklungsprozesses fachkundige Anleitung und Unterstützung geleistet, was uns ermöglicht hat, KI-gestützte Kreativwerkzeuge für Künstler bereitzustellen, die hochwertige VFX- und Finishing-Lösungen suchen.
-Louis Martin, Sr. Manager of Software Development für Autodesk Flame
Bazaarvoice
Die Erstellung und Bereitstellung von KI-Lösungen in der Cloud im großen Maßstab ist komplex. Angesichts riesiger Datensätze und Leistungsüberlegungen ist ein harmonisches Gleichgewicht entscheidend. ONNX Runtime bot uns die Flexibilität, ein mit Python erstelltes scikit-learn-Modell zu verpacken, es serverlos in einer Node.js-Umgebung bereitzustellen und es in der Cloud mit beeindruckender Leistung auszuführen.
-Matthew Leyburn, Software Engineer, Bazaarvoice
Camo
ONNX Runtime ermöglicht es Camo Studio, Funktionen wie Hintergrundsegmentierung und Merkmalserkennung mit Geschwindigkeit und Genauigkeit bereitzustellen. Es integriert sich nahtlos in unsere bestehenden Modelle und ermöglicht es uns, jeden Prozessor anzusprechen, einschließlich der neuesten NPUs, was uns wertvolle Entwicklungszeit spart und es uns ermöglicht, innovative Funktionen für alle unsere Benutzer zu entwickeln. Wir empfehlen ONNX Runtime jedem Entwickler, der die Modellbereitstellung optimieren und das volle Potenzial seiner Anwendungen ausschöpfen möchte.
-Aidan Fitzpatrick, Gründer & CEO, Reincubate
Cephable
Die ONNX Runtime ermöglicht es uns, gleichzeitig CPU-, GPU- und NPU-fähige Geräte anzusprechen. Die Konvertierung eines Modells in NPU unter Verwendung von ONNX Runtime und AI Hub reduzierte unseren Entwicklungsaufwand von 30 Tagen auf 7 Tage. Angesichts des aktuellen Stands der Technik wären es heute wahrscheinlich nur 3 Tage. Dies ermöglicht es uns, unseren Benutzern hochmoderne Leistung zu liefern, die Auswirkungen von KI/ML-Workloads zu minimieren, wenn andere Anwendungen ausgeführt werden, und mehr Zeit für die Fokussierung auf Feature-Arbeit zu lassen.
-Jon Campbell, Director of Engineering, Cephable
ClearBlade
Die Integration von ONNX Runtime durch ClearBlade mit unseren Enterprise IoT- und Edge-Plattformen ermöglicht es Kunden und Partnern, KI-Modelle mit jedem branchenüblichen KI-Tool zu erstellen, das sie verwenden möchten. Mit dieser Lösung können unsere Kunden die ONNX Runtime Go-Sprach-APIs nutzen, um jedes Modell nahtlos für den Einsatz auf Geräten in abgelegenen Standorten oder auf dem Fabrikboden bereitzustellen!
-Aaron Allsbrook, CTO & Founder, ClearBlade
Deezer
Bei Deezer verwenden wir ONNX Runtime für maschinelle Lernfunktionen zur Musikempfehlung in unserem Streamingdienst. Die C-API von ONNX Runtime lässt sich einfach in unseren Software-Stack integrieren und ermöglicht es uns, Transformer-Modelle mit großer Leistung für Echtzeit-Anwendungsfälle auszuführen und bereitzustellen.
-Mathieu Morlon, Software Engineer, Deezer
Goodnotes
Dank ONNX Runtime Web konnte Goodnotes Scribble to Erase nahtlos implementieren. Das erste KI-Feature von Goodnotes für Android, Windows und Web liefert blitzschnelle Leistung und ein unglaublich reibungsloses Benutzererlebnis. Es ist ein Game-Changer!
-Pedro Gómez, Senior Software Engineer, Goodnotes
Graiphic
Mit SOTA haben wir das erste komplette Ökosystem entwickelt, das vollständig auf ONNX und ONNX Runtime basiert. SOTA unterstützt nicht nur KI-Workloads, sondern orchestriert im Kern graphenbasierte Berechnungen, was eine modulare, skalierbare und transparente Ausführung sowohl im KI- als auch im Nicht-KI-Bereich ermöglicht. Wir glauben, dass ONNX nicht nur ein Format ist, sondern die Grundlage für die Zukunft graphennativer Berechnungen.
-Youssef Menjour, CTO und Mitbegründer, Graiphic
Hugging Face
Wir verwenden ONNX Runtime, um Tausende von Open-Source-State-of-the-Art-Modellen im Hugging Face Model Hub einfach bereitzustellen und private Modelle für Kunden der Accelerated Inference API auf CPU und GPU zu beschleunigen.
-Morgan Funtowicz, Machine Learning Engineer, Hugging Face
Hypefactors
ONNX Runtime betreibt viele unserer Modelle für natürliche Sprachverarbeitung (NLP) und Computer Vision (CV), die die globale Medienlandschaft in Echtzeit analysieren. Es ist unser bevorzugtes Framework für die Skalierung unserer Produktions-Workloads und bietet wichtige Funktionen, die von integrierten Quantisierungstools bis zur einfachen GPU- und VNNI-Beschleunigung reichen.
-Viet Yen Nguyen, CTO, Hypefactors
InFarm
InFarm liefert KI-gestützte Lösungen für intelligentes Farming und betreibt Computer-Vision-Modelle auf einer Vielzahl von Hardware, einschließlich lokaler GPU-Cluster, Edge-Computing-Geräten wie NVIDIA Jetsons und cloudbasierten CPU- und GPU-Clustern. ONNX Runtime ermöglicht es InFarm, die Modellformate und Ausgaben von Modellen, die von mehreren Teams generiert wurden, zu standardisieren, um die Bereitstellung zu vereinfachen und gleichzeitig die beste Leistung auf allen Hardwarezielen zu erzielen.
-Ashley Walker, Chief Information and Technology Officer, InFarm
Intel
Wir freuen uns, ONNX Runtime in der Intel® Distribution of OpenVINO™ zu unterstützen. Dies beschleunigt die Machine-Learning-Inferenz auf Intel-Hardware und gibt Entwicklern die Flexibilität, die Kombination von Intel-Hardware zu wählen, die ihren Anforderungen am besten entspricht, von CPU über VPU bis FPGA.
-Jonathan Ballon, Vice President and General Manager, Intel Internet of Things Group
Intelligenza Etica
Wir integrieren KI-Modelle in verschiedenen Märkten und regulierten Industrien unter Verwendung vieler Stacks und Frameworks, die F&E und Ethik verbinden. Mit ONNX Runtime bieten wir maximale Leistung und Flexibilität, um die bevorzugte Technologie der Kunden zu nutzen, von der Cloud bis zu eingebetteten Systemen.
-Mauro Bennici, AI Architect und AI Ethicist, Intelligenza Etica
Navitaire
Mit Kunden auf der ganzen Welt sehen wir ein wachsendes Interesse an der Bereitstellung effektiverer Modelle zur Steuerung von Preisgestaltungs-Lösungen über ONNX Runtime. Die Leistung von ONNX Runtime hat uns das Vertrauen gegeben, diese Lösung bei unseren Kunden mit extremeren Transaktionsvolumenanforderungen einzusetzen.
-Jason Coverston, Product Director, Navitaire
NVIDIA
ONNX Runtime ermöglicht es unseren Kunden, die leistungsstarken Optimierungen von NVIDIA TensorRT einfach auf Machine-Learning-Modelle anzuwenden, unabhängig vom Trainingsframework, und sie auf NVIDIA GPUs und Edge-Geräten bereitzustellen.
-Kari Ann Briski, Sr. Director, Accelerated Computing Software and AI Product, NVIDIA
Apache OpenNLP
Die Integration von ONNX Runtime in Apache OpenNLP 2.0 ermöglicht die einfache Nutzung von State-of-the-Art Natural Language Processing (NLP) Modellen im Java-Ökosystem. Für Bibliotheken und Anwendungen, die OpenNLP bereits nutzen, wie Apache Lucene und Apache Solr, bietet die Nutzung von ONNX Runtime über OpenNLP aufregende neue Möglichkeiten.
-Jeff Zemerick, Search Relevance Engineer bei OpenSource Connections und Vorsitzender des Apache OpenNLP-Projekts
Oracle
Die ONNX Runtime API für Java ermöglicht Java-Entwicklern und Oracle-Kunden, ONNX Machine-Learning-Modelle nahtlos zu konsumieren und auszuführen und dabei die Ausdruckskraft, hohe Leistung und Skalierbarkeit von Java zu nutzen.
-Stephen Green, Director of Machine Learning Research Group, Oracle
Peakspeed
Durch die Verwendung einer gemeinsamen Modell- und Codebasis ermöglicht ONNX Runtime Peakspeed, problemlos zwischen Plattformen zu wechseln, um unseren Kunden zu helfen, die kosteneffektivste Lösung basierend auf ihrer Infrastruktur und ihren Anforderungen zu wählen.
-Oscar Kramer, Chief Geospatial Scientist, Peakspeed
Pieces.app
ONNX Runtime bietet uns eine leichtgewichtige Laufzeitumgebung, die auf Leistung fokussiert ist und es unseren ML-Ingenieuren ermöglicht, die besten Frameworks und Modelle für die jeweilige Aufgabe auszuwählen.
-Brian Lambert, Machine Learning Engineer, Pieces.app
PTW Dosimetry
Die Mission von PTW ist die sichere Gewährleistung der Strahlentherapie. Die Überführung eines KI-Modells aus der Forschung in die Klinik kann jedoch eine Herausforderung darstellen. Dies sind sehr unterschiedliche Software- und Hardwareumgebungen. ONNX Runtime schlägt die Brücke und ermöglicht es uns, die bestmöglichen Werkzeuge für die Forschung auszuwählen und sicherzustellen, dass die Bereitstellung in jeder Umgebung einfach funktioniert.
-Jan Weidner, Research Software Engineer, PTW Dosimetry
Redis
ONNX Runtime bildet die Grundlage für die einzigartige Fähigkeit von RedisAI, Machine-Learning- und Deep-Learning-Modellinferenzen nahtlos innerhalb von Redis auszuführen. Diese Integration ermöglicht es Datenwissenschaftlern, Modelle in ihrem bevorzugten ML-Framework (PyTorch, TensorFlow usw.) zu trainieren und diese Modelle von Redis für Inferenz mit geringer Latenz bereitzustellen.
-Sam Partee, Principal Engineer, Applied AI, Redis
Rockchip
Mit der Unterstützung von ONNX Runtime können unsere Kunden und Entwickler die Grenzen des Modelltrainings-Frameworks überschreiten und ML-Modelle einfach auf NPU-basierten Geräten von Rockchip bereitstellen.
-Feng Chen, Senior Vice President, Rockchip
Samtec
Wir benötigten eine Laufzeit-Engine, um den Übergang von der Datenwissenschaft zu einem hochperformanten Produktionslaufzeitsystem zu bewältigen. ONNX Runtime (ORT) hat einfach funktioniert. Ohne vorherige Erfahrung mit ORT konnte ich meine Modelle problemlos konvertieren und hatte nach nur wenigen Stunden Prototypen, die Inferenz in mehreren Sprachen ausführten. ORT wird für absehbare Zeit meine bevorzugte Laufzeit-Engine sein.
-Bill McCrary, Application Architect, Samtec
SAS
Die einzigartige Kombination aus ONNX Runtime und SAS Event Stream Processing verändert das Spiel für Entwickler und Systemintegratoren, indem sie flexible Pipelines unterstützt und es ihnen ermöglicht, dieselben KI-Modelle auf mehreren Hardwareplattformen zu implementieren, ohne Änderungen an Bundles und Paketen vornehmen zu müssen. Dies ist angesichts des zusätzlichen Aufwands für Erstellung und Test, der laufend eingespart wird, entscheidend.
-Saurabh Mishra, Senior Manager, Product Management, Internet of Things, SAS
Teradata
Teradata bietet ein hoch erweiterbares Framework, das die Importation und Inferenz von zuvor trainierten Machine-Learning- (ML) und Deep-Learning- (DL) Modellen ermöglicht. ONNX Runtime ermöglicht es uns, die Fähigkeiten von Vantage Bring Your Own Model (BYOM) zu erweitern und bietet Datenwissenschaftlern mehr Optionen für die Integration, Inferenz und Produktionsbereitstellung von ML- und DL-Modellen innerhalb des Teradata Vantage-Ökosystems.
-Michael Riordan, Director, Vantage Data Science and Analytics Products, Teradata
Topaz Labs
Die einfache C-API von ONNX Runtime mit dem DirectML-Provider ermöglichte es Topaz Labs, die Unterstützung für AMD-GPUs und NVIDIA Tensor Cores in nur wenigen Tagen hinzuzufügen. Darüber hinaus laden unsere Modelle auf GPUs um ein Vielfaches schneller als mit jedem anderen Framework. Selbst unsere größeren Modelle mit etwa 100 Millionen Parametern laden innerhalb von Sekunden.
-Suraj Raghuraman, Head of AI Engine, Topaz Labs
Unreal Engine
Wir haben ONNX Runtime als Backend des Inferenzsystems des Neural Network Interface (NNI) Plugins von Unreal Engine ausgewählt, aufgrund seiner Erweiterbarkeit zur Unterstützung der Plattformen, auf denen Unreal Engine läuft, und ermöglicht es ML-Praktikern, ML-Modelle in den Frameworks ihrer Wahl zu entwickeln. NNI evaluiert neuronale Netze in Echtzeit in Unreal Engine und dient als Grundlage für Spieleentwickler, um ML-Modelle zur Lösung vieler Entwicklungsherausforderungen zu nutzen und bereitzustellen, einschließlich Animation, ML-basierte KI, Kameratracking und mehr.
-Francisco Vicente Carrasco, Research Engineering Lead, Epic Games
United States Department of Agriculture, Agricultural Research Service
Beim USDA verwenden wir ONNX Runtime in GuideMaker, einem Programm, das wir entwickelt haben, um Pools von Guide-RNAs zu entwerfen, die für groß angelegte Gen-Editing-Experimente mit CRISPR-Cas benötigt werden. ONNX hat es uns ermöglicht, ein bestehendes Modell interoperabler zu machen, und ONNX Runtime beschleunigt die Vorhersagen der Guide-RNA-Bindung.
-Adam Rivers, Computational Biologist, United States Department of Agriculture, Agricultural Research Service
Vespa.ai
ONNX Runtime hat die Kapazität von Vespa.ai zur Auswertung großer Modelle sowohl in Bezug auf die Leistung als auch auf die von uns unterstützten Modelltypen erheblich erweitert.
-Lester Solbakken, Principal Engineer, Vespa.ai
Writer
ONNX Runtime war uns bei Writer sehr hilfreich bei der Optimierung von Modellen für die Produktion. Es ermöglicht uns, leistungsfähigere Modelle bereitzustellen und dennoch Ergebnisse mit der von unseren Kunden erwarteten Latenz zu liefern.
-Dave Buchanan, Director of AI and NLP, Writer
Xilinx
Xilinx freut sich über die Ankündigung von Microsoft zur Vitis™ AI-Interoperabilität und Laufzeitunterstützung für ONNX Runtime, die es Entwicklern ermöglicht, Machine-Learning-Modelle für die Inferenz auf FPGA IaaS wie Azure NP-Serie VMs und Xilinx Edge-Geräten bereitzustellen.
-Sudip Nag, Corporate Vice President, Software & AI Products, Xilinx
