Каким способом функционирует определение лиц в смартфонах

Зачем мы останавливаемся на разлочивание по лицу

В недавние годы распознавание лиц является одной из самых распространённых опций для открытия смартфонов. Всего некоторые годов тому назад большинство пользователей обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект обуславливает данную функцию такой востребованной? Для начала, это практично: не нужно запоминать сложные пароли или находить нужный палец в мраке. Также, это быстро: современные программы идентифицируют лицо фактически за мгновения ока. В-третьих, это впечатление футуристичности — словно в кинофильмах про вулкан казино шпионов.

Впрочем за этой на первый взгляд несложностью скрывается полный вселенная комплексных техник и инженерных разработок. Попробуем понять, как точно работает идентификация по лицу в современных смартфонах, какие бывают технологии, насколько они защищены и что нас ожидает в будущем.

Сжатая повествование прогресса инноваций

Идентификация лиц как технология имеется уже более пятидесяти лет. Первые эксперименты машинного изучения лица были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры умели лишь определять контуры черепа и измерять дистанции между зрачками и устами на ахроматических изображениях.

Начальные бизнес установки стали доступны в 90-х, но они были неидеальны: работали медленно и нередко ошибались. Только с развитием нейронных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные разработки.

Основные стадии функционирования устройства распознавания

Процесс определения лица можно условно поделить на несколько важных этапов:

Распознавание лица — камера определяет существование людского лица в изображении.
Выделение признаков — механизм исследует черты физиономии: очертания зрительных органов, носа, губ, позицию бровей.
Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе определённых признаков.
Сравнение со образцом — созданный модель сверяется со сохранённой при учёте биометрической сведениями владельца.
Принятие решения — если сходство достаточно существенное, смартфон разблокируется.

Каждый из этих шагов запрашивает специальных процедур и усовершенствований для оперативной работы прямо на устройстве.

Аппаратные элементы: что скрыто внутри

Типичная фронтальная камера.

Самый несложный вариант определения облика применяет исключительно переднюю камеру смартфона смартфона. Подобный способ реализован во различных недорогих вариантах Android-устройств.

Достоинства:

Необходимо потребляет дополнительных датчиков.
Оперативно действует при качественном свете.

Недостатки:

Легко одурачить изображением или видеозаписью.
Неправильно функционирует при низком освещении или необычных точках зрения.

Инфракрасная фотокамера и точечный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Каким образом это функционирует:

Точечный устройство проекции отображает на облик юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
ИК камера фиксирует деформацию данной сетки по поверхности лица.
Получается 3D карта глубинности, которая почти невозможна для подделки стандартной фотографией или маскировкой.

Достоинства

Надёжная работа даже в полной неосвещённости.
Высокая устойчивость к имитациям.
Точность идентификации более 99%.

Дополнительные датчики

В отдельных устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период прохождения луча до цели и обратно; Трехцветные-датчики дальности; специальные оптические дальномеры для создания более точной 3D-модели лица.

Эти разработки используются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искусственный ум на действии

Современные устройства идентификации лиц немыслимы в отсутствие применения искусственного интеллекта и машинного обучения. Именно из-за таким инновациям, как вулкан россии, гаджет может узнавать пользователя даже при метаморфозах внешности: новая стрижка, щетина, очки или косметика не становятся помехой для открытия.

Обнаружение лиц

При начальном стадии система должна быстро найти ликовое изображение среди целого изображения с камеры. Для данной цели задействуются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии находить облик даже с неполном перекрытии (например, шалью или ладонью).

Выделение основных моментов

После распознавания лица устройство, такая как вулкан россии, устанавливает расположение основных точек: края глаз, конец носа, границы губ и так далее. Как правило задействуется от 68 до 128 ключевых точек на лицевой области.

Данное требуется для выравнивания картинки: если человек находится с мобильник под наклоненным, или склонил голову, программа корректирует изображение до стандартного положения для дальнейшего анализа.

Формирование биометрического идентификатора образца

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Этот формат крайне сложно подделать: он не удерживает само изображение пользователя, а лишь уникальные характеристики его вида, что делает его идеальным для таких систем, как vulkan russia.

Сравнение и вынесение заключения

Когда человек хочет разлочить смартфон взором, программа повторяет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Привыкание к трансформациям внешности

Увлекательная черта актуальных системы — возможность самообучения. Если ты регулярно разблокируете мобильное устройство с обновленной стрижкой или оптикой, алгоритм постепенно освежает эталонный шаблон вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрических информации.

Множество юзеры беспокоятся держать свои био-идентификационные данные на мобильном устройстве из-за риска утечки данных или взлома устройства. Определенные компании, например vulkan russia, предлагают варианты для повышения безопасности данных пользователей.

Локальное хранение: Основная часть девайсов хранит био-идентификационные модели лишь в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют гаджет и не доступны даже создателю.
Шифрование: Все данные сберегаются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не обладают прямого доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Следует упомянуть важную особенность: если кто-либо достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют защиту от “слепого” разблокирования — к примеру, заставляют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются категории определения лиц на изображениях?

На сегодняшний день можно выделить определить три основных метода к осуществлению этой функции:

Программное двухмерное определение

Эксплуатируется только фронтальная видеокамера без вспомогательных датчиков глубины. Подобный метод используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; минимальная цена; скоростная деятельность при достаточном освещении.
Минусы: легко обмануть фотографией; ненадежная работа ночью; недостаточная охрана.

Техническое 3D сканирование

Задействует инфракрасную камеру + проектор пикселей + датчики дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надежность; не получится исказить фото/видео; устойчивая функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с ИИ-дополнением

Используют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например вулкан россии и Google Pixel Face Unlock современных версий, объединяют фронталку c ИК датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Иллюстрации эксплуатации различных техник

iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз представил эквивалент Face ID среди Android.
Samsung Galaxy S10/S20 имеют как софтверное плоское определение по фото фронталкой, так и сканер глазного ириса.
Huawei Mate20 Pro применяет систему из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Проблемы безопасности и неверные срабатывания

Несмотря на поразительный прогресс инноваций за прошедшие годы, безупречных механизмов пока не имеется:

Возможность мошенничества: Бюджетные мобильники легко открываются четкой снимком хозяина или видеозаписью с экрана другого устройства.
Идентичные близняшки: Даже самые совершенные устройства могут перепутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
Трансформации облика: Стремительное утрата веса/набор веса, хирургические вмешательства или травмы иногда требуют обновления данных биометрических данных.
Условия записи: Интенсивная засветка солнцем или же плотная темнота могут уменьшить аккуратность распознавания признаков.

Вот несколько советов по защищённому применению:

Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
Не включайте опцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
Постоянно обновляйте ПО смартфона для обеспечения безопасности от актуальных атак;
Включайте опцию “Требовать раскрытых глаз” везде, где она имеется.

В каких местах ещё находится применение технологии помимо мобильных телефонов?

Хотя тема данной работы сосредоточена на именно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Мониторинг прохода в офисах и многоквартирных зданиях;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Электронные паспорта последнего образца;
Системы видеомониторинга городских служб;
Автоматизирование учёта присутствия образовательных учреждений/институтов;
Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Похожие проекты реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как трансформируется техпроцесс в наше время?

Любой годочек проявляются новые мысли для улучшения стандарта работы систем лицевого распознавания:

Увеличивается чёткость датчиков — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность ошибки;
Развиваются искусственные интеллекты — современные структуры модели MobileNetV3 позволяют быстро обучаться новым особенностям внешности пользователя прямо на устройстве без отправки данных в облако.
Совершенствуются методы антиспуфинга — теперь смартфоны могут различать настоящие живые лица от статичных фото/маскировок по микроскопическим движениям кожи.
Интеграция со интеллектуальными приборами — умные часы могут автоматически закрыть доступ к телефон, если владелец ушёл далеко.
Проявляются гибридные механизмы — в частности комбинирующие аудио аутентификацию + лицо + дактилоскопический след.

Итак, какие тенденции в особенности востребованы на сегодняшний день:

1) Миниатюризация элементов

Компании намереваются сократить габариты выреза (“чёлки”) под сенсоры на экране за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для увеличения конфиденциальности всё больше расчётов осуществляется внутри устройства без отправки данных во внешний облачный сервис.

3) Стандартизация норм

Google интенсивно продвигает стандарт BiometricPrompt API, чтобы подобные площадки, как вулкан россия, и каждые Android-аппы могли взаимодействовать с любыми видами биометрии единообразно.

Что подобрать на сегодня?

Если вам всем важна предельная защита информации, подбирайте флагманские аппараты с интегрированным ИК-излучателем либо ToF-сенсором глубины.

iPhone всех актуальных поколений
Huawei Mate/P Series серии
Mix Expert
Vivo X линейки
Оппо Найти Икс серии.

Если финансы скромен – лучше предпочесть классическим методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как опциональную возможность комфорта.

Каким способом улучшить удобство функционирования опции?

Есть несколько хитростей для тех, кто уже применяет разблокировку по лицу:

Часто меняйте свою изображение-шаблон, если кардинально меняется внешность.
Не пренебрегайте чистить линзу передней камеры – разводы могут снизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает фотоаппарат как только вы поднимаете его.
При регистрации старайтесь удерживать голову ровно впереди объектива исключая сильного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвели взгляд от дисплея.

Перспективы эволюции техники

В предстоящие периоды можно предполагать возникновения полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + шаги + жесты рук!

Также возможно возникновение современных методов обеспечения приватности – например, динамическое модификация электронного паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее увлекательных инноваций нашего эпохи! Она предоставляет общение со телефоном удобнее чем до этого, и такие программы, как vulkan russia, могут существенно улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как работает эта система изнутри, – сможете вдумчиво подбирать свой следующий устройство!