Что агент делает с вопросом «Когда приехала машина с песком?» Разберём по шагам. 1. Проверяет события. Если на камере включена детекция транспорта, поиск начинается с её срабатываний. Это позволяет сразу перейти к моментам, когда в кадре появлялись машины. 2. Смотрит изображения. Детектор сообщает о транспорте, но не отвечает на весь вопрос. Агент проверяет кадры, а при необходимости обращается к видео. 3. Собирает ответ. Присылает найденное время, кадр или фрагмент записи. Если подходящих событий нет, приходится искать по архиву. Он хранится в виде 10-секундных роликов, из которых можно получать нужные фрагменты. Но просматривать целые сутки дорого, поэтому агент проверяет запись выборочно и может пропустить короткий эпизод. Здесь и нужна разработка вокруг языковой модели: дать ей инструменты для работы с видео и организовать поиск в несколько шагов. Получить события, проверить кадры, обратиться к архиву, собрать результат. Поэтому настроенные детекции и подсказка «белая машина, после 10 утра» действительно помогают. У агента становится меньше записи, которую нужно перебрать. 🔵 Наши соцсети: YOUTUBE | VК | МАХ