Перейти к содержимому
Антон ГончаровРазработчик ИИ-систем
RUEN

Веб-приложение · распознавание речи · контроль отдела продаж

Речевая аналитика звонков

Руководитель отдела продаж физически не может прослушать все звонки, а менеджеры заполняют CRM после разговора кое-как. Здесь каждый звонок разбирается автоматически: телефония пишет его в стерео, детектор речи режет каналы на реплики, Whisper их распознаёт, а правила проверяют скрипт — поздоровался ли, выяснил ли потребность, отработал ли «дорого», договорился ли о следующем шаге. Итог — оценка с доказательствами, метрики разговора и карточка для CRM.

Сценарий: «Тёплый дом» — вымышленная компания: пластиковые окна и остекление балконов. Четыре звонка за день: образцовый, «дорого», клиент ушёл думать и жалоба.

Скриншот демо: Речевая аналитика звонков

Открыть демо

Открыть приложение

«Разобрать» показывает результат сразу по готовой расшифровке. Для «Распознать запись» нейросеть грузится один раз — около 141 МБ, дальше из кеша; разбор звонка занимает около минуты.

Приложение работает в браузере: на сервер ничего не отправляется.

Что показывает демо

  • Стерео из телефонии: менеджер и клиент в разных каналах — роли и время каждой реплики без отдельной модели

  • Детектор речи по каналам и Whisper по репликам прямо в браузере; моно-записи — роли по очереди реплик

  • Чек-лист скрипта с весами и ссылкой на реплику-доказательство, стоп-фразы со штрафом

  • Отдельный чек-лист для жалобы: извинился, предложил решение, договорился о новом времени

  • Метрики: доля речи менеджера, паузы, перебивания, вопросы, настроение клиента в начале и в конце

  • Карточка сделки: клиент, телефон, почта, адрес, интерес, цена, следующий шаг, задача и теги — с правкой и выгрузкой в JSON

  • «Отдел за сегодня»: все звонки с оценкой и итогом, средняя по менеджерам

Как попробовать

  1. Разберите образцовый звонок

    «Разобрать» у «Замер назначен» — 100 баллов, а в карточке имя, телефон, адрес и замер в субботу.

  2. Сравните с провальным

    «Клиент ушёл думать»: без приветствия, без вопросов и следующего шага, три стоп-фразы — 0 баллов и задача перезвонить.

  3. Распознайте запись

    «Распознать запись» у любого звонка: реплики появляются по очереди, оценка и карточка собираются из того, что услышал Whisper.

  4. Поправьте и проверьте

    Нажмите «реплика» в чек-листе — запись перемотается на доказательство. Поправьте реплику или поменяйте роль, всё пересчитается.

Без платных нейросетей

Распознавание настоящее: открытая модель Whisper работает в вашем браузере. Звонки озвучены синтезатором речи Piper, поэтому Whisper ошибается в отдельных словах сильнее, чем на живой речи хорошего качества. Чек-лист, настроение и поля карточки считают правила по ключевым словам — они знают только эти сценарии. В рабочем проекте этот шаг делает языковая модель по чек-листу компании и JSON-схеме карточки.

Демо работает без API-ключей OpenAI, YandexGPT или GigaChat. Там, где рабочая система обращается к модели, стоит локальная заглушка с тем же интерфейсом — поэтому демо бесплатно, всегда доступно и ничего не выдумывает.

Что будет в рабочем проекте

  • Записи забираются из телефонии (Манго Офис, Билайн, Asterisk) по API или вебхуку после каждого звонка
  • Whisper или облачное распознавание на своём сервере — по требованиям к хранению записей
  • Языковая модель (GPT, Claude, YandexGPT или GigaChat) оценивает звонок по чек-листу компании и заполняет карточку по JSON-схеме
  • Сделка, задача и оценка — в amoCRM или Битрикс24, вечерняя сводка руководителю в Telegram

Стек

  • React 19
  • TypeScript
  • Whisper
  • Transformers.js
  • Web Workers
  • Web Audio
  • Piper TTS
  • Zustand
  • Vite

Комментарий от разработчика

Антон Гончаров

Разработчик ИИ-систем · Python

Для бизнеса

  • Руководитель видит оценку каждого звонка, не слушая их: кто теряет клиентов и на каком шаге скрипта.
  • Карточка сделки и задача заполняются сами — менеджер не тратит время на CRM после разговора.
  • Жалобы и «риск отказа» всплывают в тот же день, пока клиента ещё можно удержать.

Для разработчиков

  • Стерео-запись разделяется на каналы, энергетический детектор речи режет их на реплики, соседние куски одного канала склеиваются.
  • Whisper base через Transformers.js в Web Worker распознаёт реплики по одной — с ролью и временем, без модели диаризации.
  • Чек-лист, метрики и карточка — чистые функции с тестами на эталонных расшифровках и на тексте в том виде, как его пишет распознавание.

Советы

  • Совет 01

    Включите в телефонии запись в стерео: разделить голоса по каналам надёжнее и дешевле любой диаризации.

  • Совет 02

    Показывайте к каждому пункту оценки реплику-доказательство — иначе менеджеры спорят с цифрой, а не учатся.

Нужен такой же для вашего бизнеса?

Расскажите о задаче — отвечу, что из демо подойдёт вам, сколько это займёт и что понадобится с вашей стороны.

Написать в TelegramОставить заявку

Другие демо в этом разделе

Все демо

  • Веб-приложение · распознавание речи · нейросеть в браузере

    работает

    Голосовая заявка

    Клиент наговаривает заявку голосом, а менеджер получает готовую карточку: имя, компания, телефон, бюджет, сроки, задача и оценка — горячий лид или нет. Речь распознаёт Whisper прямо в браузере.

    • React
    • TypeScript
    • Нейросеть в браузере

  • Веб-приложение · звонок в браузере · распознавание и синтез речи

    работает

    Голосовой оператор доставки

    Робот принимает заказы по телефону вместо администратора: слушает, переспрашивает, проверяет адрес по зонам доставки, считает сумму и читает заказ перед подтверждением. Звонок идёт прямо в браузере — кнопка «Позвонить», без номера телефона.

    • React
    • TypeScript
    • Нейросеть в браузере

  • Веб-приложение · документы · DOCX и PDF

    работает

    Генератор КП и договора

    Менеджер заполняет анкету сделки — покупатель, товары, скидка, НДС, — а коммерческое предложение, договор поставки и счёт собираются на листе A4 на глазах. На выходе — Word, PDF или JSON.

    • React
    • TypeScript

  • Веб-приложение · B2B · КП в PDF

    работает

    Конфигуратор цены

    Менеджер собирает заказ на все окна квартиры: тип, размер, створки на схеме, профиль, стеклопакет и цвет. Правила производства проверяются сразу, скидки и рассрочка считаются сами, КП с номером уходит в PDF.

    • React
    • TypeScript

  • Веб-приложение · финансы · сравнение

    работает

    Ипотечный калькулятор

    Пять программ банков на одном экране: какие подходят клиенту и почему остальные нет. Льготная ставка от застройщика, дифференцированный платёж, досрочное погашение, нагрузка на доход и налоговый вычет.

    • React
    • TypeScript

  • Веб-приложение · смета · PDF

    работает

    Калькулятор сметы ремонта

    Размеры комнат превращаются в площади пола, стен и потолка, а те — в работы по этапам. Работа и материалы отдельно, срок по выработке бригады, график оплаты и версии сметы для торга с клиентом.

    • React
    • TypeScript

  • Веб-приложение · витрина · чекаут · заказы

    работает

    SPA-каталог на React

    Магазин целиком в браузере: поиск с подсказками и исправлением раскладки, фасеты с живыми счётчиками, ссылки на любой фильтр, избранное, корзина с промокодом и чекаут с выбором слота доставки. Заказы видны в «Моих заказах» со статусами, их можно повторить или отменить.

    • React
    • TypeScript

  • Машинное обучение на Python · работает в браузере

    работает

    Аналитика отзывов с маркетплейсов

    Отзывы с Wildberries, Ozon и Яндекс Маркета через API продавца: модели scikit-learn определяют тональность и о чём пишут покупатели, тревога поднимается в первую неделю всплеска жалоб, новые темы находятся сами, а ответ уходит обратно через API площадки. Модели обучаются прямо в браузере.

    • Python
    • React
    • TypeScript

  • Виджет для сайта · нативный JS · одна строка

    работает

    Виджет AI-консультанта

    Консультант для любого сайта, который ставится одной строкой: отвечает по базе знаний со ссылкой на источник, собирает заявку и зовёт оператора. Написан на чистом JavaScript без фреймворков — весь виджет 21 КБ в gzip.

    • Нативный JS

  • Виджет для сайта · нативный JS · заявки

    работает

    Квиз-форма заявки

    Квиз вместо длинной формы: шесть вопросов с ветвлением, в конце — расчёт по прайсу. Менеджер получает заявку с оценкой «горячая / тёплая / холодная» и источником рекламы, а вкладка «Аналитика» показывает, на каком шаге уходят люди.

    • Нативный JS

  • Backend на Python · вебхуки → amoCRM и Битрикс24

    работает

    Интеграционный хаб заявок

    Заявки с сайта, из рекламы, звонков, почты и ботов приходят на вебхуки, приводятся к одному виду, проверяются на дубли, распределяются по менеджерам и доставляются в amoCRM и Битрикс24 — с повторами, когда CRM недоступна.

    • Python
    • React
    • TypeScript