Кэш промптов экономит больше, чем дешёвая модель
Замер на реальном пайплайне: prefix-caching на дорогой модели оказался в 3 раза выгоднее перехода на дешёвую без кэша. Считаем вместе.
≈ 4 мин чтения
Короткие записи о том, что реально встречается в работе: грабли, числа, выводы. Без лонгридов на 40 минут.
Замер на реальном пайплайне: prefix-caching на дорогой модели оказался в 3 раза выгоднее перехода на дешёвую без кэша. Считаем вместе.
Пет-проект на 10k пользователей живёт на инстансе за $5. Что сломалось, что нет, и когда всё-таки пора масштабироваться.
Как ограничение «агент трогает только один файл за итерацию» снизило число регрессий вчетверо на монолите 400k строк.
Половина «мистических» зависимостей VPN и вебсокетов — это MTU. Чек-лист диагностики с tcpdump в пять команд.
Три случая, где строгая схема выдачи ломала пайплайн, и одно правило, когда её всё-таки стоит включать.