Bereitstellung von ML-Modellen auf IoT- und Edge-Geräten

ONNX Runtime ermöglicht die Bereitstellung auf vielen IoT- und Edge-Geräten zur Unterstützung einer Vielzahl von Anwendungsfällen. Es sind Pakete verfügbar, die viele Board-Architekturen unterstützen, die bei der Installation von ONNX Runtime enthalten sind. Nachfolgend finden Sie einige Überlegungen, wenn Sie entscheiden, ob die Bereitstellung auf dem Gerät für Ihren Anwendungsfall geeignet ist.

Vorteile und Einschränkungen der Inferenz auf dem Gerät

  • Es ist schneller. Richtig, Sie können die Inferenzzeit reduzieren, wenn die Inferenz direkt auf dem Client für Modelle durchgeführt wird, die für die Arbeit auf weniger leistungsfähiger Hardware optimiert sind.
  • Es ist sicherer und hilft bei der Privatsphäre. Da die Daten die Geräte für die Inferenz nicht verlassen, ist dies eine sicherere Methode der Inferenz.
  • Es funktioniert offline. Wenn Sie die Internetverbindung verlieren, kann das Modell weiterhin Inferenz durchführen.
  • Es ist billiger. Sie können die Kosten für die Cloud-Bereitstellung senken, indem Sie die Inferenz auf das Gerät auslagern.
  • Beschränkung der Modellgröße. Wenn Sie auf dem Gerät bereitstellen möchten, benötigen Sie ein optimiertes und ausreichend kleines Modell, um auf dem Gerät ausgeführt werden zu können.
  • Beschränkung der Hardwareverarbeitung. Das Modell muss für die Ausführung auf weniger leistungsfähiger Hardware optimiert sein.

Beispiele

Inhaltsverzeichnis