Arm NN Execution Provider

Inhalt

• Erstellen
• Verwendung
• Performance-Tuning

Beschleunigen Sie die Leistung von ONNX-Modellarbeiten auf Arm®-basierten Geräten mit dem Arm NN Execution Provider. Arm NN ist eine Open-Source-Inferenz-Engine, die von den Unternehmen Arm und Linaro gepflegt wird.

Build

Für Build-Anweisungen siehe die BUILD-Seite.

Verwendung

C/C++

Um Arm NN als Execution Provider für die Inferenzierung zu verwenden, registrieren Sie ihn wie unten gezeigt.

Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions so;
bool enable_cpu_mem_arena = true;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_ArmNN(so, enable_cpu_mem_arena));

Die Details der C-API finden Sie hier.

Performance-Tuning

Wenn Sie onnxruntime_perf_test verwenden (falls zutreffend), verwenden Sie das Flag -e armnn