ONNX Runtime

Le moteur d'inférence portable qui exécute un même modèle ONNX du serveur au navigateur.

ONNX Runtime, développé par Microsoft, charge un modèle au format ONNX exporté depuis PyTorch, TensorFlow ou scikit-learn et l'exécute à travers des execution providers interchangeables : CPU, CUDA, TensorRT, OpenVINO, DirectML, CoreML, NNAPI, ou WebAssembly et WebGPU dans le navigateur. Le graphe est optimisé au chargement (constant folding, fusion d'opérateurs) et peut être quantifié en INT8 ; les API couvrent Python, C++, C#, Java et JavaScript. C'est notre choix quand un même modèle doit tourner sur des cibles hétérogènes sans être recompilé pour chacune.