Перейти к содержимому
Антон ГончаровРазработчик ИИ-систем
RUEN

Промпт инжиниринг для LLM

Джон Берриман, Альберт Циглер

  • ИИ и агенты
  • LLM
  • Промпт-инжиниринг

Авторы — инженеры, которые делали GitHub Copilot. Книга не про «волшебные фразы», а про то, как построить приложение вокруг модели: как LLM видит текст, как собрать для неё контекст из данных пользователя, как устроены диалоговые агенты с инструментами и рабочие процессы из нескольких шагов и как проверять качество ответов.

Главные мысли

  1. Модель продолжает документ: промпт должен выглядеть как документ, у которого нужное продолжение — ответ.
  2. Контекст ограничен, поэтому фрагменты отбирают и упорядочивают по важности, а не кладут всё подряд.
  3. Приложение на LLM — цикл: запрос пользователя → сборка промпта → ответ модели → преобразование ответа в действие.
  4. Без оценки на наборе примеров не понять, стал промпт лучше или хуже.

Как применяю

В AI-агентах собираю промпт из шаблона, найденных фрагментов базы знаний и истории диалога и проверяю изменения промптов на наборе тестовых вопросов, а не на глаз.

Где и как применил

  • Демо · Telegram и Max · поиск по базе знаний

    AI-поддержка по базе знаний

    Промпт собирается из найденных фрагментов базы знаний: в контекст идут только самые подходящие, ответ ссылается на них [1], [2], а если база не покрывает вопрос — бот честно отказывается.

  • Демо · Веб-приложение · метрики · пороги CI

    Оценка качества бота

    Любое изменение настройки бота прогоняется на 40 контрольных вопросах: hit@1, hit@3 и доля верных отказов показывают, стало лучше или хуже.

  • Демо · Веб-приложение · экономика AI · нативный JS

    Калькулятор стоимости AI-бота

    Расчёт показывает, из чего складывается контекст — инструкции, фрагменты базы, история, ответ — и сколько стоит каждая часть в токенах.

Ещё на полке

  • Читаю

    Прикладные API для искусственного интеллекта и Data Science

    Райан Дэй

    Практическая книга о том, как сделать API для данных и как подключить к нему ИИ. Сквозной проект — сервис на FastAPI с базой и документацией, затем SDK для него, использование API в аналитике и, наконец, агенты на LangChain, которые сами вызывают API.

    ИИ и агентыPythonAPIПрименено в 3 проектах

  • Читаю

    Серверные приложения на Python, Django, Flask и FastAPI

    Р. С. Бухарев

    Путь серверной разработки на Python — от сокетов и протоколов до архитектуры и запуска на сервере. Django, Flask и FastAPI разобраны на реальных проектах: CRM-система, Telegram-бот с серверной логикой, REST API для мобильного приложения и чат на WebSocket. Отдельные главы — про кеширование и масштабирование, Docker и Kubernetes, PostgreSQL, MySQL, SQLite и MongoDB и про безопасность: хеширование паролей, JWT и OAuth 2.0, защита от SQL-инъекций, XSS и CSRF, TLS.

    ПрограммированиеPythonБэкендПрименено в 1 проекте