KServe

Le standard de serving de modèles sur Kubernetes, avec autoscaling et scale-to-zero.

KServe expose un modèle comme une ressource Kubernetes InferenceService : on déclare le format (scikit-learn, XGBoost, PyTorch, TensorFlow, ONNX, Hugging Face, ou un conteneur custom) et l'emplacement des poids, et il provisionne le serveur, l'endpoint HTTP/gRPC et l'autoscaling, jusqu'au scale-to-zero via Knative. Il gère le déploiement canary avec répartition du trafic, les transformers de pré/post-traitement, l'explicabilité et le serving de LLM avec vLLM. C'est notre choix pour servir des modèles en production sur un cluster Kubernetes existant sans dépendre d'un cloud.