NVIDIA TensorRT

Le compilateur d'inférence NVIDIA qui tire le maximum d'un GPU en production.

TensorRT compile un réseau, le plus souvent importé depuis ONNX, en un moteur optimisé pour un GPU NVIDIA précis : fusion de couches et de tenseurs, sélection automatique des kernels les plus rapides pour l'architecture cible, précision réduite FP16, INT8 avec calibration ou FP8. Le moteur s'exécute côté serveur via Triton ou en embarqué sur Jetson, et TensorRT-LLM applique la même approche aux grands modèles de langage avec in-flight batching et cache KV paginé. C'est notre choix quand la cible est un GPU NVIDIA fixé et que chaque milliseconde de latence compte.