Трекинг: почему проследить за объектом сложнее, чем найти его
Нейросеть уверенно находит человека, машину или овцу на одном кадре. Но чтобы посчитать посетителей или понять, кто подошёл к забору, нужно знать, что это тот же объект, что и секунду назад. Разбираем, как устроен трекинг, где он ломается и как проверить его на своих камерах.
В прошлой статье про видеоаналитику трекинг был одним шагом из пяти: между нейросетью-детектором и правилом. На схеме он занимал одну плашку. На практике именно на нём чаще всего спотыкаются подсчёт людей, контроль очередей и сценарии вида «человек провёл у забора дольше трёх секунд».
Причина простая: детектор смотрит на каждый кадр отдельно. Он говорит «на этом кадре 8 овец», но не знает, что овца слева — та же, что была левее на прошлом кадре. Связать кадры между собой — задача трекера. У неё нет общего решения, поэтому трекинг часто называют самой сложной задачей компьютерного зрения.
Как устроен трекер
Сегодня в большинстве рабочих систем используют схему «трекинг по детекциям». Классический пример — алгоритм SORT 2016 года, и почти все популярные трекеры построены по его образцу.
Один шаг трекера — на каждом кадре
Детектор находит, трекер связывает с прошлым
Нейросеть обводит рамкой каждый объект на новом кадре. Номеров у рамок нет
Фильтр Калмана по прошлым кадрам предсказывает, где окажется каждый известный объект
Считаем перекрытие (IoU) каждого прогноза с каждой новой рамкой — получаем таблицу
Венгерский алгоритм выбирает пары так, чтобы суммарное перекрытие было наибольшим
Новую рамку без пары называем новым объектом, пропавший объект помним несколько кадров
У каждого объекта свой номер и траектория — по ним уже работают правила и подсчёт
Перекрытие считается просто: площадь пересечения двух рамок делим на площадь их объединения. Одинаковые рамки дают 1, непересекающиеся — 0. Пару засчитывают, если перекрытие выше порога, обычно 0,3.
У этой схемы два больших плюса. Она быстрая: трекер почти ничего не стоит по сравнению с детектором. И она понятная: если номер сменился, можно разобрать, на каком шаге и почему.
Наш эксперимент: 8 секунд, три трекера
Чтобы показать, как это выглядит на деле, мы взяли 8-секундный ролик со стадом овец на склоне: 193 кадра, камера немного движется, овцы ходят рядом и пересекаются. Детектор — YOLO11, на каждом кадре он находил от 6 до 12 овец. Дальше прогнали один и тот же набор рамок через три трекера.
Кадр 150: номера и траектории
Наш SORT: рамка — найденная овца, линия — её путь за последние полторы секунды
Ролик сгенерирован нейросетью Seedance 1.5 Pro · детектор YOLO11m · 24 кадра в секунду
Сколько номеров выдали трекеры
Одно видео, один детектор, одинаковые рамки на входе
SORT — наша реализация с классическими параметрами · ByteTrack и BoT-SORT — настройки по умолчанию из библиотеки Ultralytics
Три вывода. Первый: трекеры не сходятся даже на 8 секундах простой сцены — от 16 до 20 номеров. Второй: многое решает одна настройка — сколько кадров трекер «помнит» пропавший объект. Когда мы увеличили память SORT с 1 до 5 кадров, овцам реже выдавали новый номер на месте только что потерянного: 1 раз вместо 5. Третий: сравнение по внешности здесь не помогло — овцы слишком похожи друг на друга.
А сколько овец было на самом деле, по этим цифрам сказать нельзя. Об этом ниже.
Где трекер ломается
Почти все ошибки трекинга — это два события: объекту выдали новый номер (трек оборвался) или два объекта обменялись номерами. Причины повторяются от проекта к проекту.
Частые причины ошибок
И что с ними делают
| Причина | Что происходит | Что помогает |
|---|---|---|
| Перекрытие | Объект зашёл за другой или за столб, детектор его потерял | Помнить трек дольше; камера сверху вместо сбоку |
| Пересечение | Два объекта прошли вплотную, рамки слились — номера перепутались | Сравнение по внешности (ReID), учёт направления движения |
| Похожие объекты | Одинаковая форма: сотрудники, животные, коробки | Камера с другого ракурса; внешность тут почти не помогает |
| Движение камеры | Сдвигается весь кадр, прогноз Калмана промахивается | Компенсация движения камеры — как в BoT-SORT |
| Мало кадров в секунду | Между кадрами объект смещается сильнее размера рамки, перекрытия нет | Поднять частоту кадров или сопоставлять по расстоянию, а не по перекрытию |
| Пропуски детектора | Объект то находится, то нет — трек рвётся | Дообучить детектор на своих кадрах; ByteTrack добирает неуверенные рамки |
Отсюда главный практический вывод: большую часть проблем трекинга решают не выбором трекера, а камерой и детектором. Камера, которая смотрит сверху, почти убирает перекрытия. Детектор, дообученный на ваших кадрах, перестаёт «моргать». Трекер — последний шаг, а не первый.
Какие трекеры бывают
Алгоритмов десятки, но в рабочих проектах чаще всего встречаются потомки SORT. Они отличаются тем, что добавляют к прогнозу и сравнению рамок.
Семейство SORT
Что каждый добавляет к базовой схеме
Фильтр Калмана + перекрытие рамок + венгерский алгоритм. Быстрый, простой, путает при пересечениях
Добавляет сравнение по внешности: отдельная нейросеть превращает каждый объект в «отпечаток»
Сопоставляет и неуверенные рамки, которые обычно выбрасывают. Меньше обрывов при перекрытиях
Компенсирует движение камеры и уточняет прогноз. Сравнение по внешности — по желанию
Есть и трекеры «из одной нейросети», которые находят и связывают объекты сразу, — но в проектах с обычными камерами по-прежнему чаще работает схема «детектор + трекер»
Сравнение по внешности (ReID) кажется универсальным лекарством, но наш эксперимент показывает обратное: на похожих объектах оно не помогает, а считать его дорого — по одной дополнительной нейросети на каждый объект в каждом кадре. Оно оправдано, когда объекты различаются: люди в разной одежде, машины разных марок.
Как измерить качество трекинга
Число выданных номеров — плохая метрика: оно ничего не говорит о том, правильно ли трекер связал кадры. Чтобы сравнивать трекеры честно, нужна разметка: на каждом кадре проверочного ролика человек отмечает, какой объект где. Дальше считают стандартные метрики.
Три метрики, которые стоит знать
Все считаются по размеченному ролику
| Метрика | Что показывает | Когда смотреть |
|---|---|---|
| Смены номеров (ID switches) | Сколько раз объект сменил номер | Подсчёт людей, контроль времени в зоне |
| IDF1 | Какую долю времени объект держал свой правильный номер | Когда важна вся траектория целиком |
| HOTA | Общая оценка: и как найдены объекты, и как связаны между кадрами | Для сравнения трекеров между собой |
На открытых наборах вроде MOT17 и MOT20 эти метрики считают для сотен трекеров — но ваши камеры от них отличаются, поэтому проверять нужно на своих записях
Хорошая новость: для проверки не нужны часы видео. Минута-две записи с вашей камеры, где объекты проходят рядом и перекрывают друг друга, уже показывают, какой трекер вам подходит. Разметка такой минуты занимает несколько часов, и это окупается: дальше любое изменение настроек проверяется цифрами, а не на глаз.
Если трекер ошибается, а считать надо
Идеального трекинга не бывает, поэтому хорошие системы строят так, чтобы ошибки трекера не ломали результат:
- Считать по линии, а не по номерам. Для подсчёта посетителей важно, сколько раз кто-то пересёк линию входа в нужную сторону. Если на середине пути номер сменился, подсчёт не пострадает.
- Добавить допуск по времени. «В зоне дольше трёх секунд» можно считать с учётом коротких обрывов трека: если объект пропал на полсекунды и появился на том же месте, это тот же объект.
- Сначала камера, потом алгоритм. Для подсчёта — вид сверху, для периметра — ракурс без перекрытий. Перенести камеру почти всегда дешевле, чем бороться с её ракурсом настройками.
- Проверять на своих записях. Минута размеченного видео и одна метрика до запуска — и вы знаете, чему верить в отчётах.
Как это делаем мы
В Kalman Lab начинаем с ваших записей: смотрим, где объекты перекрываются и пересекаются, предлагаем ракурс камеры и проверяем несколько трекеров на минуте размеченного видео. Решение принимаем по цифрам: сколько смен номеров и насколько точно сходится подсчёт с ручным.
Первый разбор задачи — 30 минут, бесплатно. Пришлите минуту записи со своей камеры — скажем, как на ней поведёт себя трекинг и что стоит поменять до запуска.
Ещё в блоге: Видеоаналитика: камеры, которые смотрят сами. Что она умеет и где ошибается