«Когда мы начинали внедрять генеративный ИИ, столкнулись с дилеммой: заложить избыток ресурсов и заморозить капитал или недооценить нагрузку и потерять клиентов», — признается Богдан Гарбар из ОТП Банка. Эксперт представил инженерный подход, который переводит бюджетирование инфраструктуры для LLM из области интуитивных догадок в плоскость точных расчетов.
ОТП Банк разработал методику расчета мощностей для ИИ-сервисов
«Когда мы начинали внедрять генеративный ИИ, столкнулись с дилеммой: заложить избыток ресурсов и заморозить капитал или недооценить нагрузку и потерять клиентов», — признается Богдан Гарбар из ОТП Банка. Эксперт представил инженерный подход, который переводит бюджетирование инфраструктуры для LLM из области интуитивных догадок в плоскость точных расчетов.
Руководитель Центра платформенных ИИ-решений ОТП Банка Богдан Гарбар на форуме «Франкенштейн на кибербанке» предложил способ уйти от неточных экспертных оценок при закупке GPU-серверов. Раньше компании часто опирались на непрозрачные бенчмарки, что приводило либо к простою дорогостоящего оборудования, либо к сбоям в работе сервисов под нагрузкой.
Разработанный инструмент связывает бизнес-показатели с техническими требованиями проекта. Система вычисляет необходимый объем графических процессоров, исходя из реальных параметров: объема памяти на одну сессию, методов квантования моделей и техник обработки запросов. Такой подход позволяет компаниям заранее прогнозировать CapEx, совокупную стоимость владения и возврат инвестиций, обеспечивая выполнение SLA при минимально возможных затратах на инфраструктуру.
Комментарии (0)
Пока нет комментариев. Будьте первым!