kalman lab
← Блог

Трекинг: почему проследить за объектом сложнее, чем найти его

Нейросеть уверенно находит человека, машину или овцу на одном кадре. Но чтобы посчитать посетителей или понять, кто подошёл к забору, нужно знать, что это тот же объект, что и секунду назад. Разбираем, как устроен трекинг, где он ломается и как проверить его на своих камерах.

Ноябрь 2026 · 8 минут чтения

В прошлой статье про видеоаналитику трекинг был одним шагом из пяти: между нейросетью-детектором и правилом. На схеме он занимал одну плашку. На практике именно на нём чаще всего спотыкаются подсчёт людей, контроль очередей и сценарии вида «человек провёл у забора дольше трёх секунд».

Причина простая: детектор смотрит на каждый кадр отдельно. Он говорит «на этом кадре 8 овец», но не знает, что овца слева — та же, что была левее на прошлом кадре. Связать кадры между собой — задача трекера. У неё нет общего решения, поэтому трекинг часто называют самой сложной задачей компьютерного зрения.

Как устроен трекер

Сегодня в большинстве рабочих систем используют схему «трекинг по детекциям». Классический пример — алгоритм SORT 2016 года, и почти все популярные трекеры построены по его образцу.

Один шаг трекера — на каждом кадре

Детектор находит, трекер связывает с прошлым

01Детектор

Нейросеть обводит рамкой каждый объект на новом кадре. Номеров у рамок нет

02Прогноз

Фильтр Калмана по прошлым кадрам предсказывает, где окажется каждый известный объект

03Сравнение

Считаем перекрытие (IoU) каждого прогноза с каждой новой рамкой — получаем таблицу

04Пары

Венгерский алгоритм выбирает пары так, чтобы суммарное перекрытие было наибольшим

05Жизнь трека

Новую рамку без пары называем новым объектом, пропавший объект помним несколько кадров

06Результат

У каждого объекта свой номер и траектория — по ним уже работают правила и подсчёт

Перекрытие считается просто: площадь пересечения двух рамок делим на площадь их объединения. Одинаковые рамки дают 1, непересекающиеся — 0. Пару засчитывают, если перекрытие выше порога, обычно 0,3.

У этой схемы два больших плюса. Она быстрая: трекер почти ничего не стоит по сравнению с детектором. И она понятная: если номер сменился, можно разобрать, на каком шаге и почему.

Наш эксперимент: 8 секунд, три трекера

Чтобы показать, как это выглядит на деле, мы взяли 8-секундный ролик со стадом овец на склоне: 193 кадра, камера немного движется, овцы ходят рядом и пересекаются. Детектор — YOLO11, на каждом кадре он находил от 6 до 12 овец. Дальше прогнали один и тот же набор рамок через три трекера.

Кадр 150: номера и траектории

Наш SORT: рамка — найденная овца, линия — её путь за последние полторы секунды

Овцы на склоне с цветными рамками, номерами и линиями траекторий

Ролик сгенерирован нейросетью Seedance 1.5 Pro · детектор YOLO11m · 24 кадра в секунду

Сколько номеров выдали трекеры

Одно видео, один детектор, одинаковые рамки на входе

SORT, память 1 кадр
20
ByteTrack
19
SORT, память 5 кадров
18
BoT-SORT + сравнение внешности
17
BoT-SORT
16

SORT — наша реализация с классическими параметрами · ByteTrack и BoT-SORT — настройки по умолчанию из библиотеки Ultralytics

Три вывода. Первый: трекеры не сходятся даже на 8 секундах простой сцены — от 16 до 20 номеров. Второй: многое решает одна настройка — сколько кадров трекер «помнит» пропавший объект. Когда мы увеличили память SORT с 1 до 5 кадров, овцам реже выдавали новый номер на месте только что потерянного: 1 раз вместо 5. Третий: сравнение по внешности здесь не помогло — овцы слишком похожи друг на друга.

А сколько овец было на самом деле, по этим цифрам сказать нельзя. Об этом ниже.

Где трекер ломается

Почти все ошибки трекинга — это два события: объекту выдали новый номер (трек оборвался) или два объекта обменялись номерами. Причины повторяются от проекта к проекту.

Частые причины ошибок

И что с ними делают

ПричинаЧто происходитЧто помогает
ПерекрытиеОбъект зашёл за другой или за столб, детектор его потерялПомнить трек дольше; камера сверху вместо сбоку
ПересечениеДва объекта прошли вплотную, рамки слились — номера перепуталисьСравнение по внешности (ReID), учёт направления движения
Похожие объектыОдинаковая форма: сотрудники, животные, коробкиКамера с другого ракурса; внешность тут почти не помогает
Движение камерыСдвигается весь кадр, прогноз Калмана промахиваетсяКомпенсация движения камеры — как в BoT-SORT
Мало кадров в секундуМежду кадрами объект смещается сильнее размера рамки, перекрытия нетПоднять частоту кадров или сопоставлять по расстоянию, а не по перекрытию
Пропуски детектораОбъект то находится, то нет — трек рвётсяДообучить детектор на своих кадрах; ByteTrack добирает неуверенные рамки

Отсюда главный практический вывод: большую часть проблем трекинга решают не выбором трекера, а камерой и детектором. Камера, которая смотрит сверху, почти убирает перекрытия. Детектор, дообученный на ваших кадрах, перестаёт «моргать». Трекер — последний шаг, а не первый.

Какие трекеры бывают

Алгоритмов десятки, но в рабочих проектах чаще всего встречаются потомки SORT. Они отличаются тем, что добавляют к прогнозу и сравнению рамок.

Семейство SORT

Что каждый добавляет к базовой схеме

2016SORT

Фильтр Калмана + перекрытие рамок + венгерский алгоритм. Быстрый, простой, путает при пересечениях

2017DeepSORT

Добавляет сравнение по внешности: отдельная нейросеть превращает каждый объект в «отпечаток»

2021ByteTrack

Сопоставляет и неуверенные рамки, которые обычно выбрасывают. Меньше обрывов при перекрытиях

2022BoT-SORT

Компенсирует движение камеры и уточняет прогноз. Сравнение по внешности — по желанию

Есть и трекеры «из одной нейросети», которые находят и связывают объекты сразу, — но в проектах с обычными камерами по-прежнему чаще работает схема «детектор + трекер»

Сравнение по внешности (ReID) кажется универсальным лекарством, но наш эксперимент показывает обратное: на похожих объектах оно не помогает, а считать его дорого — по одной дополнительной нейросети на каждый объект в каждом кадре. Оно оправдано, когда объекты различаются: люди в разной одежде, машины разных марок.

Как измерить качество трекинга

Число выданных номеров — плохая метрика: оно ничего не говорит о том, правильно ли трекер связал кадры. Чтобы сравнивать трекеры честно, нужна разметка: на каждом кадре проверочного ролика человек отмечает, какой объект где. Дальше считают стандартные метрики.

Три метрики, которые стоит знать

Все считаются по размеченному ролику

МетрикаЧто показываетКогда смотреть
Смены номеров (ID switches)Сколько раз объект сменил номерПодсчёт людей, контроль времени в зоне
IDF1Какую долю времени объект держал свой правильный номерКогда важна вся траектория целиком
HOTAОбщая оценка: и как найдены объекты, и как связаны между кадрамиДля сравнения трекеров между собой

На открытых наборах вроде MOT17 и MOT20 эти метрики считают для сотен трекеров — но ваши камеры от них отличаются, поэтому проверять нужно на своих записях

Хорошая новость: для проверки не нужны часы видео. Минута-две записи с вашей камеры, где объекты проходят рядом и перекрывают друг друга, уже показывают, какой трекер вам подходит. Разметка такой минуты занимает несколько часов, и это окупается: дальше любое изменение настроек проверяется цифрами, а не на глаз.

Если трекер ошибается, а считать надо

Идеального трекинга не бывает, поэтому хорошие системы строят так, чтобы ошибки трекера не ломали результат:

Как это делаем мы

В Kalman Lab начинаем с ваших записей: смотрим, где объекты перекрываются и пересекаются, предлагаем ракурс камеры и проверяем несколько трекеров на минуте размеченного видео. Решение принимаем по цифрам: сколько смен номеров и насколько точно сходится подсчёт с ручным.

Первый разбор задачи — 30 минут, бесплатно. Пришлите минуту записи со своей камеры — скажем, как на ней поведёт себя трекинг и что стоит поменять до запуска.

Ещё в блоге: Видеоаналитика: камеры, которые смотрят сами. Что она умеет и где ошибается

Контакт

Расскажите о задаче

Опишите её в двух-трёх предложениях. Ответим и сразу скажем, стоит ли за неё браться. Первый созвон — с архитектором, который потом ведёт проект.