Перейти к содержимому
Антон ГончаровРазработчик ИИ-систем
RUEN

Взломать всё

Брюс Шнайер

  • ИИ и агенты
  • Безопасность
  • Системное мышление

Книга о том, как люди и организации пользуются лазейками в правилах: налогах, законах, рынках, платформах. Хак у Шнайера — действие, которое система формально разрешает, но которое подрывает её замысел.

Для AI-разработки главное в книге — глава про ИИ: модель, которой поставили узкую цель, сама находит «легальные» обходы и выполняет метрику, ломая смысл задачи.

Главные мысли

  1. Любую метрику рациональный участник попробует накрутить. Спрашивать «как это сломают?» нужно на этапе дизайна, а не после инцидента.
  2. Слабые места систем — на стыках: человек и бот, день и ночь, тариф и лимит.
  3. Агенту мало поставить цель — нужно перечислить, что не считается её выполнением.
  4. Патч после скандала слабее, чем дыра, закрытая до релиза.
  5. «Легально» не значит «правильно»: обход чужой площадки — не услуга для клиента.

Как применяю

В AI-агентах задаю не только цель, но и список запрещённых способов её достичь, и проверяю, не «прокопал» ли агент обход метрики. При проектировании ботов и KPI сразу ищу, как их накрутят, и либо закрываю дыру правилом, либо фиксирую риск с заказчиком.

Где и как применил

  • Демо · Веб-приложение · безопасность AI · нативный JS

    Тренажёр защиты от prompt-инъекций

    Тренажёр атак на бота поддержки: 15 атак, непрямые инъекции через письма и отзывы, шесть уровней защиты по OWASP Top 10 для LLM.

  • Демо · Telegram и Max · баллы, QR на кассе, рассылки

    Программа лояльности в Telegram и Max

    QR-код карты меняется каждую минуту: скриншот чужой карты касса не примет — лазейка закрыта до релиза.

  • Демо · Веб-приложение · общий ящик · CRM · защита от подмены реквизитов

    ИИ-разбор входящей почты

    Счёт с новыми реквизитами и фишинг с доменом-двойником агент ловит до оплаты: слабое место — на стыке человека и почты.

Ещё на полке

  • Читаю

    Прикладные API для искусственного интеллекта и Data Science

    Райан Дэй

    Практическая книга о том, как сделать API для данных и как подключить к нему ИИ. Сквозной проект — сервис на FastAPI с базой и документацией, затем SDK для него, использование API в аналитике и, наконец, агенты на LangChain, которые сами вызывают API.

    ИИ и агентыPythonAPIПрименено в 3 проектах

  • Читаю

    Серверные приложения на Python, Django, Flask и FastAPI

    Р. С. Бухарев

    Путь серверной разработки на Python — от сокетов и протоколов до архитектуры и запуска на сервере. Django, Flask и FastAPI разобраны на реальных проектах: CRM-система, Telegram-бот с серверной логикой, REST API для мобильного приложения и чат на WebSocket. Отдельные главы — про кеширование и масштабирование, Docker и Kubernetes, PostgreSQL, MySQL, SQLite и MongoDB и про безопасность: хеширование паролей, JWT и OAuth 2.0, защита от SQL-инъекций, XSS и CSRF, TLS.

    ПрограммированиеPythonБэкендПрименено в 1 проекте