Hugging Face Modelle beschleunigen

ONNX Runtime kann das Training und die Inferenz gängiger Hugging Face NLP-Modelle beschleunigen.

Hugging Face Modelle Inferenz beschleunigen

• Allgemeiner Export und Inferenz: Hugging Face Transformers
• GPT2 Modell auf CPU beschleunigen
• BERT Modell auf CPU beschleunigen
• BERT Modell auf GPU beschleunigen

Zusätzliche Ressourcen

• Blogbeitrag: Schnellere und kleinere quantisierte NLP mit Hugging Face und ONNX Runtime
• Blogbeitrag: Beschleunigen Sie Ihre NLP-Pipelines mit Hugging Face Transformers und ONNX Runtime