Übersicht#

On-Device Training bezieht sich auf den Prozess des Trainings eines Modells auf einem Edge-Gerät, wie z. B. Mobiltelefonen, eingebetteten Geräten, Spielekonsolen, Webbrowsern usw. Dies steht im Gegensatz zum Training eines Modells auf einem Server oder in der Cloud. Das Training auf dem Edge ist nützlich, wenn die Daten sensibel sind und nicht an einen Server oder eine Cloud weitergegeben werden können. Es ist auch nützlich für die Personalisierung, bei der das Modell auf dem Gerät des Benutzers trainiert werden muss.

onnxruntime-training bietet eine einfache Möglichkeit, eine breite Palette von ONNX-Modellen effizient auf Edge-Geräten zu trainieren und zu inferieren. Der Trainingsprozess ist in zwei Phasen unterteilt:

• Die Offline-Phase: In dieser Phase werden Trainingsartefakte auf einem Server, in der Cloud oder auf einem Desktop vorbereitet. Diese Artefakte können mithilfe der Python-Tools zur Artefakterstellung von onnxruntime-training generiert werden.

• Die Trainingsphase: Sobald diese Artefakte generiert sind, können sie auf einem Edge-Gerät bereitgestellt werden. Die Trainings-API von onnxruntime-training kann verwendet werden, um ein Modell auf dem Edge-Gerät zu trainieren.

Sobald das Training auf dem Edge-Gerät abgeschlossen ist, kann auf dem Edge-Gerät selbst ein für die Inferenz vorbereitetes ONNX-Modell generiert werden. Dieses Modell kann dann mit ONNX Runtime für die Inferenz verwendet werden.