Система промптов классификации обращений в поддержку
14 intent-классов и JSON-routing: тикет за 2 секунды, без автоответа клиенту.
eval, few-shot, JSON Schema, промпт-инжиниринг
Клиент — SaaS-платформа (логистика), 400+ тикетов в день. Маршрутизация вручную: оператор читал обращение и ставил тег — 30–60 секунд на тикет, ошибки ~12%. Классификатор на ключевых словах не справлялся с формулировками.
Задача: система few-shot промптов для классификации намерения и приоритета — 14 категорий, confidence score, fallback «не уверен → general queue». Без автоответа клиенту — только routing.
- taxonomy: 14 intent-классов (статус, оплата, баг, интеграция, billing, churn risk);
- few-shot промпт: 3–5 примеров на класс, hard negatives;
- structured output JSON: intent, priority, confidence, suggested_queue;
- порог confidence: < 0.7 → ручная разметка + пополнение few-shot;
- eval на 500 размеченных тикетах; итерации v1→v4 по confusion matrix;
- документация: как добавить новый intent без переобучения модели.
Стек: промпт-инжиниринг, OpenAI API, JSON Schema, Python eval, Zendesk webhook. Приёмка: macro-F1 > 0.88 на hold-out.
Итог: время маршрутизации ~2 сек вместо 30–60; ошибки routing −70%. NDA: продукт не публикуется.