Prompt registry: версионирование, A/B-тесты и метрики качества
Реестр промптов: версии, A/B, rollback и cost/quality по каждой LLM-фиче.
A/B, FastAPI, MLOps, промпт-инжиниринг
Клиент — edtech-платформа с 6 LLM-фичами. Промпты жили в Notion и Google Docs — версии путались, регрессии находили по жалобам пользователей. Не было единых метрик качества.
Задача: prompt registry — централизованное хранилище с версионированием, A/B-тестами, метриками (quality, latency, cost) и процессом promote staging → production.
- registry (PostgreSQL + UI): prompt_id, version, author, diff, tags;
- API: GET /prompt/{id}?version=latest|pinned;
- A/B framework: 50/50 split, user rating, task success, tokens, latency;
- eval hooks при сохранении новой версии; rollback в один клик;
- шаблон PR для prompt change; дашборд cost per feature и win rate A/B.
Стек: промпт-инжиниринг, Python, FastAPI, PostgreSQL, React, OpenAI API, Docker. Приёмка: 6 фич мигрированы, 0 prod-инцидентов за первый месяц.
Итог: деплой промптов контролируемый; rollback — минуты; видимость cost/quality по фиче. NDA: платформа не публикуется.