vLLM

Le moteur d'inférence open source pour servir des LLM à haut débit sur vos GPU.

vLLM est un moteur d'inférence et de serving pour grands modèles de langage : PagedAttention gère le cache KV par pages comme une mémoire virtuelle, et le continuous batching remplit le GPU en permanence, ce qui multiplie le débit par rapport à une boucle de génération naïve. Il expose une API compatible OpenAI, charge les modèles Hugging Face, et supporte quantization (FP8, AWQ, GPTQ), parallélisme tensoriel, prefix caching et multi-LoRA. C'est notre choix quand un modèle open weights doit être servi en production, sur infrastructure propre, à coût maîtrisé.