В Новосибирском государственном техническом университете НЭТИ разработали программу, которая анализирует поведение покупателей в магазинах с помощью камер и нейросетей. Инструмент строит тепловые карты активности посетителей в реальном времени, сообщили в пресс-службе вуза.
Руководитель проекта, ассистент кафедры автоматизированных систем управления Егор Антонянц объяснил, как это работает.
«В основе лежит сверточная нейросетевая модель, которая обнаруживает людей в кадре. Программа подсчитывает количество посетителей, запоминает траектории их движения и места остановок. Вся эта информация мгновенно накладывается на видео в виде цветного градиента — так называемой тепловой карты. Чем «теплее» цвет, значит, тем больше людей побывало в этой точке», - рассказал Антонянц.
Обычные системы просто считают, сколько человек зашло и вышло из магазина. Новая разработка видит полную картину: куда пошел покупатель, у каких витрин задержался, а мимо чего прошел, не взглянув.
Главный разработчик проекта, студент четвертого курса Дмитрий Гордиенко пояснил, что похожие программы на рынке есть, но они либо слишком дороги для небольших магазинов, либо дают только общую статистику без картинки в моменте.
«Наша разработка позволяет прямо сейчас оценить, насколько удачно выложен товар на новой витрине или в какой зоне зала посетители проводят больше всего времени. Мы это наглядно проверили: в одном из тестовых видео четко видно, как покупатели останавливаются у витрины с мороженым, а продавец все время находится в зоне кассы. Такую информацию можно использовать для мгновенной корректировки выкладки товаров», - отметил Гордиенко.
Сначала нейросеть выделяет людей на каждом кадре, потом программа накапливает данные об их местоположении, а затем математические алгоритмы превращают это в понятную цветную карту. Все происходит в реальном времени.
Разработка пригодится не только в магазинах, но и в музеях, выставочных центрах и аэропортах – везде, где важно понимать, как люди перемещаются и на что обращают внимание. В будущем систему можно адаптировать для более сложной аналитики и встроить в уже работающие системы видеонаблюдения.
Ранее студенты того же факультета создали систему визуального поиска товаров, которая позволяет находить нужную вещь в каталоге маркетплейса по фотографии.
Фото: фрипик
