FrameFix
Я разработал серверную часть помощника, который принимает видео с вопросом, извлекает речь и кадры, а затем формирует понятный план проверки.
Видео даёт полный контекст
Важные детали могут появиться в разных частях ролика, а часть вопроса пользователь произносит вслух. Сервер собирает кадры, распознанную речь и текст вопроса в один запрос.
Загрузка
Клиент отправляет видео, вопрос и при необходимости отдельные кадры.
Подготовка
FFmpeg извлекает изображения и звуковую дорожку.
Анализ
Система распознаёт речь и сопоставляет её с содержимым кадров.
Ответ
Пользователь получает вероятную причину и последовательность проверок.
Клиент видит ход обработки
Понятный статус
Интерфейс показывает загрузку, извлечение кадров, распознавание речи и подготовку ответа.
Ошибки по этапам
Если один шаг завершился с ошибкой, сервер возвращает уже собранные полезные данные и описание сбоя.
Продолжение разговора
Контекст хранится в Redis, поэтому следующий вопрос не требует повторной загрузки видео.
От видео к ответу
Экраны показывают единый демонстрационный сценарий диагностики. Все имена и данные в примере вымышлены.
Ссылки для технических ответов
Если вопрос касается инструкции или конкретной модели устройства, сервер может найти дополнительный материал и приложить ссылку к ответу. Временные видео, кадры и аудио удаляются после обработки.
Сервер принимает видео, показывает ход анализа, возвращает структурированный ответ и сохраняет контекст для уточнений.