20 октября 2026 · Все новости
Модуль alb в Deckhouse Platform поддерживает объект InferencePool из Gateway API Inference Extension. InferencePool представляет собой пул подов сервера модели, выбираемых по меткам, как в Service. Для управления нагрузкой между подами используется отдельный сервис — Endpoint Picker (EPP). Этот сервис считывает метрики сервера модели и сообщает шлюзу, на какой под отправить запрос. Шлюз принимает запрос, обращается к EPP и отправляет запрос на выбранный под.
Источник: Хабр
