ONNX Runtime | Arm und Microsoft Kollaboration beschleunigt KI-Erlebnisse für Anwendungen auf ARM-basierten PCs und Mobilgeräten

Da künstliche Intelligenz (KI) in heutigen PC- und Mobilgeräten von grundlegender Bedeutung ist, von Chatbots bis hin zu Produktivitätsverbesserungen, wächst der Bedarf an effizienten, skalierbaren Inferenz auf der CPU dieser Geräte weiter. Arm und Microsoft arbeiten zusammen, um diesen Bedarf zu decken und beschleunigte KI-Erlebnisse für ein breites Spektrum von Geräten bereitzustellen, von High-End-PCs und Laptops bis hin zu Flaggschiff- und Einsteiger-Smartphones.

Arm und Microsoft haben zusammengearbeitet, um Arm KleidiAI durch seine Integration in ONNX Runtime, einer der am weitesten verbreiteten Open-Source-KI-Runtimes der Branche, weiter auszubauen. KleidiAI, eine leichtgewichtige Kernel-Bibliothek für KI-Frameworks, ermöglicht nahtlose Leistungsoptimierungen für KI-Modelle und Workloads in einer Vielzahl von Technologiemärkten und ARM-basierten Geräten in einem unübertroffenen Umfang. Diese jüngste gemeinsame Anstrengung folgt auf erfolgreiche frühere KleidiAI-Integrationen in anderen führenden KI-Frameworks.

Beschleunigte KI-Erlebnisse am Edge

In den letzten Jahren gab es ein erhebliches Wachstum im Windows on Arm-Ökosystem. Die am weitesten verbreiteten Anwendungen wie Adobe Photoshop, Google Chrome, Spotify und Zoom haben alle Arm-native Builds veröffentlicht, um Vorteile in Bezug auf Leistung und Energieeffizienz zu bieten. Durch die Integration von KleidiAI in ONNX Runtime machen Arm und Microsoft KI-Leistungsverbesserungen für PC- und Mobilgeräte für eine breite Entwicklergemeinschaft zugänglich, ohne dass zusätzliche Entwicklungsanstrengungen von Anwendungsentwicklern erforderlich sind. ONNX Runtime ermöglicht KI-Workloads in vielen Microsoft-Produkten, einschließlich der Microsoft 365-Suite und Microsoft Copilot, und treibt KI-Erlebnisse auf Copilot+ PCs an.

Die KleidiAI-Integration in ONNX Runtime optimiert KI-Workloads für eine Reihe von Modellen, einschließlich Phi-3 Mini, einem Small Language Model mit 3,8 Milliarden Parametern, das entwickelt wurde, um fortschrittliche KI-Erlebnisse am Edge zu ermöglichen. Dazu gehören Echtzeit-Chatbots, virtuelle Assistenten, intelligente Textvervollständigungen und Produktivitätswerkzeugerweiterungen, die alle lokal auf dem Gerät bereitgestellt werden. Durch die Kombination der kompakten Architektur von Phi-3 Mini mit der effizienten CPU Execution Provider-Integration von KleidiAI können Entwickler schnelle, intelligente Funktionen ohne die Notwendigkeit einer Cloud-Konnektivität bereitstellen.

Reale KI-Leistungssteigerungen auf PC und Mobilgeräten

Sowohl auf PC- als auch auf Mobilplattformen liefert die Integration bereits reale Vorteile für Endbenutzer, indem sie die KI-Antwortzeiten beschleunigt, um intelligentere, schnellere Interaktionen direkt auf dem Gerät zu ermöglichen, ohne dass Architekturanpassungen oder Backend-Neuschreibungen von Entwicklern erforderlich sind.

Arm-Benchmark-Tests zeigen nach der KleidiAI-Integration in ONNX Runtime signifikante Leistungssteigerungen. Dazu gehören eine 2,4-mal schnellere Prompt-Verarbeitungsdurchsatzrate und ein 12-prozentiger Anstieg der Token-Generierung beim Phi-3-Modell unter Windows auf einer Plattform mit Armv9-Architektur. Diese Verbesserungen führen zu natürlicheren und flüssigeren Antworten in KI-Anwendungen wie Chatbots. In ähnlicher Weise zeigen unsere Benchmark-Tests in einer Referenz-Android-Anwendung, die dasselbe Phi-3-Modell auf einem vivo X200 Pro Flaggschiff-Smartphone ausführt, das auf den neuesten Armv9-CPUs basiert, eine 2,6-fache Beschleunigung der Prompt-Verarbeitung.

Da die KleidiAI-Integration auf der allgegenwärtigen Arm-CPU-Architektur läuft, können KI-Anwendungen und Workloads über Ökosysteme und Chipsets hinweg portiert werden. KleidiAI ist so konzipiert, dass es mit aktuellen Arm-Architekturfunktionen wie Neon, SVE2 (Scalable Vector Extension) und SME (Scalable Matrix Extension) funktioniert. Diese zukunftssicheren Fähigkeiten stellen sicher, dass Entwickler heute KI-gestützte Erlebnisse aufbauen können, die mit den Hardware-Innovationen von morgen skalieren. Die KleidiAI-Integration in ONNX Runtime wurde in ONNX RT V1.22 veröffentlicht.

KI im großen Maßstab ermöglichen

Die Zusammenarbeit zwischen Arm und Microsoft ist ein transformativer Schritt zur Demokratisierung des Zugangs zu optimierter KI für Entwickler. Sie vereinfacht die Einführung intelligenter Funktionen auf verschiedenen PC- und Mobilgeräten, ohne die Kosten oder den Entwicklungsaufwand zu erhöhen, und ermöglicht gleichzeitig beschleunigte KI-Erlebnisse für den Endbenutzer. Da sich KI weiterentwickelt, werden diese Optimierungsbemühungen sicherstellen, dass Entwickler, OEMs und Plattformteams die Leistung, Flexibilität und Reichweite haben, um bessere, intelligentere Erlebnisse für mehr Benutzer bereitzustellen.

Mehr erfahren

Besuchen Sie die folgenden Lernpfade, um mehr darüber zu erfahren, wie Sie die KleidiAI ONNX Runtime-Integration nutzen können