Камеры наблюдают за нами почти беспрерывно, но толку в этом мало. Если человек не анализирует картинку, камера остаётся просто прибором, производящим терабайты часов малопригодного стрима. Альтернатива — снабдить камеру ИИ-инструментами. И вот такая система видеонаблюдения способна будет заменить спящего перед монитором охранника, в офисе — босса и в супермаркете — маркетолога. Рассказываем, как именно.
«Умная» камера — понятие условное, и собственно ум в большинстве случаев не вмонтирован в саму камеру, а установлен на сервере, где анализируется видеопоток с камеры с использованием технологии искусственного интеллекта. У камеры нет вычислительных мощностей, чтобы проделывать сложный анализ картинки. Здесь и далее речь пойдёт именно о таких гаджетах, поэтому «умная» камера — это лишь «глаз» по-настоящему умного компьютера, на который приходится вся интеллектуальная нагрузка.
В 2014 году Google анонсировала Nest Cam — небольшую камеру, призванную следить за безопасностью дома. Она умела распознавать лица людей, видеть в темноте, слышать голоса, а также передавать свои впечатления от происходящего в мобильное приложение хозяев. С появлением в 2016 году динамика с голосовым управлением Home от Google возникла возможность интегрировать «умную» камеру в экосистему других «умных» гаджетов от Корпорации Добра.
А на рубеже 2017 и 2018 гг. на рынок вышли небольшие стартапы, скажем Lighthouse, созданные специально для разработки и продвижения «умных» камер, которых сейчас на рынке уже несколько десятков. Как работают эти устройства?
«Умная» камера создаёт динамическую 3D-модель помещения и всех предметов в нём. Любое изменение в обстановке (движение, перемещение, появление нового объекта) фиксируется и отражается в модели. Машинное обучение позволяет камере классифицировать как объекты, так и их действия. Чем дольше камера работает, тем лучше она понимает, кто перед ней, распознаёт своих и чужих, учится различать ребёнка и, скажем, собаку. К людям внимание особое — камера распознаёт лица, создаёт базу посетителей с их фотографиями в высоком разрешении и под разными углами, сравнивает их и нумерует. Иногда камера просит хозяина через приложение уточнить статус того или иного человека, демонстрируя фото смущающих её лиц. Камера анализирует происходящее нон-стопом, передаёт данные в облачный сервис и в приложение клиента.
Такие камеры как в составе «умного» дома, так и вне его делают возможным реализацию целого ряда новых возможностей и сценариев. Если любимая собака проснулась раньше вас и начала бродить по дому, «умная» камера не станет будить вас пожеланиями доброго утра, потому что отличает вас от животного. Если ветер качнул дерево за окном, камера не вызывает полицию, полагая, что ломится домушник, потому что машины или природные объекты также ею идентифицируются. Обычный датчик движения мог легко среагировать на такие события, доставив лишних хлопот.
А вот на новую соседку, которая зашла одолжить соли, «умная» камера обращает внимание. Увидев впервые человека, она запоминает его лицо, а также отправляет уведомление о незнакомце в жилище. Разумеется, если бы соседка в ваше отсутствие позаимствовала соль или что подороже, камера подала бы сигнал тревоги. Если впоследствии соседка поклянётся мамой, что ничего красть не собиралась, камера все равно её запомнит, как и всех других гостей, которые отличились необычным поведением, – особо продвинутые гаджеты различают нормальные и нештатные ситуации в жилище.
Вернувшись домой с работы, вы хотели было поиграть в Xbox, но обнаруживаете, что приставки нет на месте. Опять соседка? Курьер? «Нет, – сообщит камера. – Это твоя любимая мама во время вчерашнего визита убрала гаджет в шкаф». Камера может сообщить об исчезновении предмета из привычной обстановки. Уходя из дома, вы просите камеру уведомить о визите мамы в ваше отсутствие. Как только это произойдёт, вы получите сообщение и позвоните маме с просьбой больше не трогать Xbox.
Описанный выше функционал — это уже реальные возможности умных камер, таких как Nest, Wyze Cam, Arlo, Simplisafe и т.п. В 2018 году объем рынка таких устройств достиг 7 млрд долларов, по данным аналитической компании Strategy Analytics. К 2023 году этот показатель может вырасти до 9,7 млрд долларов, а в «штуках» их продажи могут увеличиться с текущих 57 млн до 120 млн единиц за тот же период.
Ещё в 1980-х различающая номерные знаки камера впервые помогла найти угнанную машину, но только в 2010-х «умные» камеры научились анализировать не одну, а тысячи характеристик наблюдаемых объектов. Так, в августе 2017 года китайский поисковик Baidu объявил, что ему удалось распознать различные действия людей — от прогулки с собакой и мытья окон до вырубки деревьев и т.д. — на 300 тыс. видеозаписей с точностью 88%.
Впрочем, это умеют и домашние «умные» камеры, но они наблюдают стационарную обстановку, а на улице люди постоянно движутся, и снимают их разные объективы. Как собрать из этого единую картину для анализа?
В Toshiba разработали технологию SATLYS. Она идентифицирует конкретного человека, попавшего под объективы разных камер. Для этого искусственный интеллект выделяет небольшое число отличительных признаков индивида и сопоставляет их с признаками других прохожих, которые могли попасть в стрим соседних камер.
SATLYS заставляет уличные камеры работать в команде, чтобы можно было построить путь движения любого человека, используя разные трансляции. Источник: Toshiba
Все характерные черты компьютер не учитывает, чтобы не перегрузить себя сопоставлениями миллионов особенностей внешнего вида, а выбирает одну или несколько существенных. Именно их он и ищет на других записях. Более того, система способна искать человека по внешнему признаку, который можно ввести в систему, как в строку Google, скажем, «красный рюкзак», «белое платье», «девушка» и т.п.
Основная сложность в том, что разные камеры дают различное изображение человека из-за несовпадения качества съёмки, угла обзора, освещённости локации и т.п. В Toshiba создали технологию, которая способна выделить конкретную особенность индивида и искать совпадение с ней в других видеотрансляциях. Источник: Toshiba
Итак, уличные «умные» камеры могут нас распознать, понять, что мы делаем и куда идём. Что это даёт? Например, вот что: выйдя из дома поутру, чтобы добраться в свой («умный», конечно же, какой ещё!) офис, вы не придали значения незнакомцу, который крутился вокруг соседского Bentley, а вот «умная» камера на доме (вернее, система видеонаблюдения, частью которой она является) уже передала информацию о нём в полицию, потому что умеет определять праздношатающихся. Вы выкуриваете сигарету и бросаете её на тротуар, — за этот грешок придётся заплатить штраф, потому что системы умеют различать правонарушения, даже мелкие.
До офиса вы решаете ехать городской электричкой. На железнодорожной станции вы ждёте поезда и видите человека, который пошатываясь идёт вдоль путей. Возможно, он пьян или ему стало плохо — об этом персоналу станции также сообщает система видеонаблюдения, которая определяет неадекватное поведение человека в местах повышенной опасности.
В электричке вы мило пообщались с прекрасной незнакомкой, а расставшись, обнаружили, что ваши часы испарились вместе с ней. Единственное, что вы запомнили — красный рюкзак за плечами девушки. Полицейский на станции делает запрос в систему видеонаблюдения «красный рюкзак», «девушка» и находит всех прекрасных незнакомок с красными рюкзаками, которые сегодня засветились на записях. Вы показываете пальцем на вашу — её-то полицейские и будут искать.
От станции до любимой работы каких-то два километра, и вы берёте велосипед. Едете себе и ещё не знаете, что наперерез мчит гелендваген под управлением сильно занятого бородатого парня, который игнорирует сигналы светофоров. «Умные» камеры на перекрёстке давно заметили и вас, и его, и отправили вам и другим прохожим (и полиции) оповещение об опасном водителе в мобильное приложение. Светофоры же задерживают для пешеходов красный сигнал, и все благополучно избегаете неприятностей, чего не скажешь о водителе гелендвагена. А вот и любимый офис. Но сначала о картинах прекрасных городов будущего и реальности.
В суровой реальности наибольшего прогресса в общественных системах умного видеонаблюдения достигли китайцы, которые реализуют сразу три проекта в этой сфере. Сети камер под зловещим названием «Зоркий глаз» (более 180 млн устройств), а также Sky Net (нет, это не шутка; более 20 млн объективов) и «Безопасные города» (нет, это не ирония; более 2 млн камер) не только регулярно следят за жителями КНР, но и уже умеют распознавать и искать преступников. Более того, китайский Большой Брат даже способен наказывать граждан в автоматическом режиме. Переход на красный свет влечёт за собой фотографирование нарушителя, распознание его лица и автоматическую публикацию на электронной доске позора в городе.
А вот интеграция видеонаблюдения в городской интернет вещей пока только развивается — это дороже и сложнее. Так, в Детройте одна из улиц оборудована умной системой наблюдения, связанной со светофорами и специальным мобильным приложением для горожан. Она определяет неосторожных пешеходов и сообщает о них в уведомлениях водителям. Также она способна продлить зелёный сигнал светофора для стремительно приближающихся к переходу велосипедистов.
Одноглазый босс: плюсы и минусы «умных» камер на работе
Камеры на рабочем месте уже давно стали частью офисного пространства, но во многом они остаются декоративным, если по ту сторону объектива 24/7 не сидит босс. Однако теперь его можно заменить искусственным интеллектом.
В 2017 году Microsoft презентовала комплексную систему умного видеонаблюдения за рабочим пространством. Камеры, компьютеры и периферийные устройства подключаются к удалённому «интеллектуальному облаку», которое применяет ИИ для анализа происходящего с точки зрения техники безопасности и продуктивности. В этом случае умные камеры работают в составе экосистемы интернета вещей. В дополнение к анализу более чем 27 млн различных событий на картинке, ИИ-инструменты в облаке получают сигналы с рабочих компьютеров, станков и другой техники.
Каково это — работать в таком офисе? Сценарий может быть такой. Вы проходите на работу без каких-либо пропусков, потому что корпоративная камера знает вас в лицо. Навстречу идёт коллега: никогда не здоровается, ставит свою кружку на ваши документы и шутит про вашу маму. Умная камера считает кислое выражение вашего лица и передаст информацию о возможном конфликте в HR-отдел. Погрузившись в мысли о новой соседке, вы совсем забываете прицепить на видное место бейдж с именем и фотографией, как того требуют корпоративные правила. Проходите беспечно к рабочему месту, не зная, что уже нарвались на штраф, потому что умная камера зафиксировала ваше нарушение и передала информацию о нём руководителю отдела, который, спустя несколько минут, напомнит вам о важности соблюдения правил компании (в резкой и не совсем приятной манере), потому что ему на смартфон пришло уведомление о работнике без бейджа. Но за ним камеры тоже следят и знают: в последнее время он слишком часто спит перед выключенным монитором, и сам забывает, где оставил бейдж, хотя «умная» камера потом помогает его найти.
Умный босс может пригодиться не только в офисе, но и в больнице: пациент с больным сердцем решил прогуляться по отделению. «Умная» камера фиксирует это. Прибор, замеряющий его сердечный ритм, также передаёт информацию в «интеллектуальное облако». Как только сердце пациента начинает уставать, сигнал тревоги приходит на пост, и одна из медсестёр подходит к пациенту. Источник: YouTube-канал Microsoft
Уходя с работы, вы получаете отчёт о вашей производительности в течение дня: на основе видеоданных ИИ составил графики активности, а также список допущенных ошибок.
До комплексной системы анализа рабочего процесса, в которой камеры играли бы ведущую роль, нам далеко. Пока они в основном следят за соблюдением техники безопасности. К примеру, в австралийском отделении международной строительной компании Laing O’Rourke внедрена система контроля и оповещения об опасных ситуациях на стройке. Как только «умные» камеры видят возможную опасность для рабочих, они отправляют на их смартфоны или «умные» часы сообщения об угрозе.
А вот анализ продуктивности работников преимущественно строится не на непосредственном наблюдении за ними, а на мониторинге конкретных рабочих операций. Такие данные проще «снимать» с компьютеров и другой рабочей техники, чем наблюдать за сотрудником, у которого целый день может двигаться только рука, управляющая мышью.
Ладно, пора выдвигаться из офиса домой, но сначала надо заглянуть в магазин.
Под взором маркетологов: зачем «умные» камеры в торговом центре
Камеры давно следят за тем, чтобы из магазина ничего не умыкнули воришки. Но для этого обычно достаточно «натурального» интеллекта охранника, сидящего всю смену перед монитором. Между тем чаще всего камеры видят законопослушных клиентов, и эта видеоинформация может быть гораздо более полезной для ритейлеров.
В частности, это поняла американская сеть Walmart, которая открыла в апреле 2019 года магазин, оснащённый камерами, изображение с которых обрабатывается искусственным интеллектом. Камеры и датчики в супермаркете генерируют 1,6 ТБ информации в секунду, которая обрабатывается сервером прямо в магазине.
Чтобы впечатлить посетителей умного гипермаркета, Walmart разместила дата-центр, получающий данные с камер и датчиков, прямо в торговом зале за стеклом. Источник: Walmart
Видеонаблюдение в таком случае не предполагает идентификации личности клиентов — камеры наблюдают преимущественно за действиями клиентов, а также за товаром на полках. В тёмных углах (скажем, в глубине стеллажей) размещены датчики, которые помогают системе понять, есть ли товар на месте или нет. Помимо этого, камеры могут распознавать пол, возраст и тип фигуры клиента и выводить для него на экранах digital signage, мимо которых он проходит, соответствующие этим характеристикам спецпредложения и рекламу.
Каким же может быть шоппинг под камерой? Извольте: только вы зашли в магазин, а «умные» камеры уже определили пол, возраст и даже предположили холостой статус. Вы направляетесь в отдел напитков за соком, но тут наталкиваетесь на игрушки и слегка залипаете на радиоуправляемых машинах, забыв, куда вообще шли. В следующем месяце, по рекомендации ИИ, отделы поменяют местами, потому что соки вы и вам подобные покупаете всегда, а игрушки — никогда. Вы добираетесь до полок с соком и, обнаружив, что вашего любимого яблочного нет, собираетесь уходить, но тут видите сотрудника магазина, который подкатывает тележку с любимым соком. Камеры и датчики обнаружили недостаток этого товара на полке и дали знать на склад.
Теперь пора за колбасой — вы уж было потянулись за любимой краковской, но тут опять сотрудник магазина вмешивается в ваш мирный шоппинг. Он забирает колбасу с полки, потому что по её цвету и форме камеры определили истекающий срок годности. Берёте докторскую, идёте дальше, и тут сотрудник магазина приносит корзину, которую вы забыли взять на входе: камеры заметили, что ваши руки заняты пивом и колбасой, и отправили сигнал персоналу. Причём вам подали именно корзину, а не тележку потому, что камеры видели, как вы пришли пешком, а не приехали на машине, из чего сделали вывод, что много продуктов вам не надо. Вы уже собираетесь уходить, но видите странного человека — он подозрительно оглядывается по сторонам и буравит взглядом бутылку хорошего виски за 100500 рублей. Это тот самый незнакомец, который утром ошивался у соседского Bentley. Но тут к нему подходит охранник и начинает с ним беседу. Камеры распознали подозрительное поведение, характерное для мелких воришек и оповестили персонал до того, как произошло преступление.
На сегодняшний день реализованы далеко не все описанные возможности. Тот же упомянутый выше «умный» гипермаркет Walmart — это пока единичный пример, а ритейлеры используют «умные» камеры преимущественно для анализа трафика потребителей для оптимизации бизнеса. Такие решения уже поставляют компании типа GoodVision. Камеры, предсказывающие воровство, разработаны (японский стартап Vaak), но пока широко не внедрены. Наконец, технологии визуального контроля качества товара и его ассортимента — это дело будущего, так как для ритейлеров по-прежнему выгоднее привлекать сравнительно недорогую рабочую силу для этих целей.
Послесловие: Большой Брат — добрый или злой?
В мае 2019 года власти Сан-Франциско запретили полиции и другим муниципальным службам использовать «умные» камеры с распознаванием лиц. Дружественный к инновациям Сан-Франциско стал первым городом в США, наложившим такой запрет. Городской совет посчитал, что эта технология угрожает правам населения. Между тем в другом американском городе, Бостоне, именно эти системы помогли разыскать исполнителей теракта на марафоне двумя годами ранее, и никакого запрета там нет. Кто прав? Пожалуй, тот, кто понимает, что техника беспристрастна, и важен лишь конечный потребитель ее возможностей. Именно его мотивы определяют, целится ли в нас объектив умной камеры, или он только бережно приглядывает за нами.