Свой сервер для нейросети или оплата за запросы: считаем, что дешевле

Компании, которые внедряют ассистентов на языковых моделях, рано или поздно упираются в этот выбор. Мы посчитали на текущих ценах: до какой нагрузки выгоднее платить за запросы, когда начинает окупаться свой сервер и почему чаще всего решают вообще не деньги.

Языковую модель можно использовать двумя способами. Первый — подключиться к готовой модели через интернет (GigaChat, YandexGPT) и платить за объём обработанного текста. Второй — арендовать сервер с видеокартой, поставить на него открытую модель и платить за сервер.

В первом случае счёт растёт вместе с нагрузкой. Во втором он одинаковый, работает сервер или простаивает. Значит, где-то есть точка, после которой свой сервер дешевле. Найдём её.

Сколько стоит оплата за запросы

Модели считают текст в токенах — это части слов. Оплачивается всё, что модель прочитала и написала.

Возьмём типичного ассистента по документам. На один вопрос он тратит около 3 000 токенов: сам вопрос, найденные фрагменты документов и ответ. Это наше допущение; в вашей задаче цифра может быть другой.

GigaChat Max для юрлиц стоит 0,65 ₽ за 1 000 токенов, минимальный платёж — 600 ₽ в месяц. Получается около 2 ₽ за один вопрос.

Сколько стоит свой сервер

Виртуальный сервер с видеокартой RTX A5000 на 24 ГБ у российского провайдера стоит от 16 900 ₽ в месяц, выделенный — от 29 000 ₽. Возьмём для расчёта 17 000 ₽. На 24 ГБ помещаются открытые модели среднего размера.

Расчёт

Расходы сравниваются примерно на 290 вопросах в день. До этой нагрузки выгоднее платить за запросы, после неё сервер начинает окупаться.

Чего в таблице нет

Таблица сравнивает только счета. Четыре вещи она не учитывает.

1. Качество. Модель, которая помещается на такой сервер, слабее флагманских. Для поиска по документам, сортировки обращений или извлечения данных её обычно хватает. Для сложных рассуждений может не хватить. Проверяется это на эталонном наборе вопросов, а не на глаз.
2. Время инженера. Сервер нужно настроить, обновлять и следить за ним. При оплате за запросы это забота поставщика.
3. Простой. Сервер оплачивается и ночью, и в выходные, когда вопросов нет.
4. Выбор модели. Младшая модель GigaChat Lite стоит 0,065 ₽ за 1 000 токенов — в десять раз дешевле. Если её качества хватает, точка окупаемости сервера уходит примерно к 2 900 вопросам в день.

Почему чаще решают не деньги

На практике свой сервер ставят не тогда, когда он дешевле, а тогда, когда данные нельзя отправлять внешнему сервису. Договоры, персональные данные клиентов, коммерческая тайна, требования службы безопасности или регулятора — в этих случаях модель должна работать внутри периметра компании, и вопрос цены становится вторичным.

Как выбрать

• Вопросов мало, данные не секретные — платите за запросы.
• Вопросов сотни в день и больше — считайте обе схемы на своих цифрах, сервер может окупиться.
• Данные нельзя выносить — свой сервер, независимо от нагрузки.
• Нагрузка неизвестна — начните с оплаты за запросы: вложений нет, а через месяц у вас будут реальные цифры.

Как это делаем мы

В Kalman Lab мы считаем обе схемы на данных клиента: сколько запросов, какого объёма, какие требования к данным. Качество обеих моделей проверяем на эталонном наборе вопросов до запуска и показываем цифры. Если выгоднее платить за запросы, так и скажем — сервер ради сервера не продаём.

Источники цен: тарифы GigaChat API для юрлиц, аренда GPU-серверов HOSTKEY.

Ещё в блоге: Чат-бот по документам ошибается не из-за нейросети