Главный вопрос, который встает перед компаниями в 2026 году: как измерить реальную окупаемость (ROI) от внедрения ИИ-ассистентов? Исследование более 750 миллионов строк кода, сгенерированных различными ИИ-инструментами (включая Claude Code и GitHub Copilot), показало, что язык программирования оказывает существенное влияние на эффективность использования AI.

Каждые три–шесть месяцев новые LLM бьют рекорды на публичных лидербордах. Однако для среднего разработчика эти «революционные» скачки редко ощущаются в ежедневных git-коммитах. Так было до выхода Anthropic Opus 4.5, после которого эффект стал по-настоящему заметен — возникло ощущение чёткого разделения на эпоху «до» и «после»: код начал генерироваться быстрее и заметно качественнее.

Но это поднимает более фундаментальный вопрос: как измерить этот эффект в бизнес-терминах?

Отраслевые бенчмарки традиционно фокусируются на качестве, производительности и безопасности моделей. Однако они часто упускают показатели, которые действительно важны бизнесу: рост продуктивности и создаваемая ценность.

Методология: Токены как валюта, принятие как курс

Традиционные бенчмарки фокусируются на безопасности и производительности, упуская бизнес-метрики. В данном исследовании в качестве прокси-метрики ценности используется коэффициент принятия (Acceptance Rate): отношение принятых строк кода к предложенным. Если ИИ выдает ценный результат, разработчик принимает его; если нет — отклоняет.

Измеряя соотношение принятых и отклонённых токенов (или строк кода), можно получить приближённую оценку продуктивности и ROI от AI.

Если токены — это «валюта» AI, то сгенерированные (принятые) строки — это обменный курс, показывающий реальную ценность этой валюты.

Ключевые выводы

Эффект языка действительно существует

Анализ выявил устойчивый и воспроизводимый паттерн:

• Языки программирования (Go, Python, Ruby) демонстрируют коэффициент принятия 22–30%
• Конфигурационные языки (JSON, YAML) — лишь 10–20%

Разница составляет 2–3 раза и сохраняется во всех компаниях, независимо от используемого AI-инструмента.

Тип языка определяет успех

• Go лидирует с показателем 30,28%.
• Python, несмотря на колоссальный объем (16,2 млн строк), удерживает 24,74%.
• JSON замыкает список с результатом 10,30%.

Объем не влияет на качество

Не обнаружено корреляции между количеством сгенерированного кода и процентом его принятия. Популярность языка не делает подсказки ИИ качественнее «автоматически».

Языки программирования — самый ценный выход AI

Иерархия ценности по категориям

При группировке языков по типам выявляется четкая сегментация:

• Языки программирования (Code): Медиана ~24% (диапазон 21–30%).
• Языки конфигурации (Config): Медиана ~15% (диапазон 10–20%).
• Языки разметки (Markup): Медиана ~13% (диапазон 10–14%).

Почему существует этот разрыв? Высокий ROI в Python или Go обусловлен сложностью, вариативностью паттернов и богатым контекстом (импорты, типы, иерархии). ИИ может предложить действительно интеллектуальные альтернативы. Напротив, конфигурационные файлы (JSON, YAML) чрезмерно формализованы и бедны контекстом. Малейшая неточность делает предложение бесполезным, поэтому разработчики чаще отвергают варианты, которые «почти верны», ограничивая роль ИИ функциями базового автодополнения.

Как правильно измерять ROI в эпоху ИИ

Для корректной оценки эффективности недостаточно просто считать стоимость подписки. Необходимо:

1. Измерять сэкономленное время, а не только затраты (циклы создания и ревью до и после внедрения ИИ).
2. Конвертировать принятые строки в финансовую ценность по формуле:

ROI = [(AR × TK × TSTP × DC) - AIC] / AIC

Где: AR — коэффициент принятия, TK — общее кол-во токенов, TSTP — время, сэкономленное на токен, DC — стоимость часа разработчика, AIC — стоимость ИИ-инструмента.

Выводы

Выбор языка программирования оказывает большее влияние на ROI от AI, чем выбор конкретного AI-инструмента.

Перед тем как считать ROI низким, менять AI-инструмент, ставить KPI командам, сначала проверьте распределение языков и уровеньпринятия по категориям.

Методология

Источник данных: Jellyfish AI Coding Assistant Usage Analytics

Период: Январь 2025 — Декабрь 2025

Автор: Tomas Pardinas