В это легко поверить: большая модель обычно увереннее пишет, помнит больше паттернов и красивее объясняет решение. Кажется, остаётся просто выбрать «самую умную».
Но размер модели не заменяет контекст задачи.
Если ей не дали схему базы, правила доступа, формат ответа и реальные примеры — она будет уверенно достраивать пробелы. Иногда маленькая модель с хорошим поиском по документации и чётким шаблоном ответа полезнее большой, которой сказали: «разберись сам».
Это как нанять сильного инженера и не показать ему чертёж, ограничения по бюджету и существующую проводку. Квалификация важна. Вводные — тоже.
На практике я смотрю не только на качество ответа, а на всю систему:
— откуда модель берёт факты;
— какие действия ей разрешены;
— можно ли проверить результат;
— насколько ошибка дорога.
Большую модель стоит подключать там, где много неоднозначности: проектирование, сложный анализ, работа с разнородным текстом. Для повторяемых операций часто важнее хороший процесс, чем максимальный интеллект модели.
Не выбирайте модель вместо проектирования системы.