Каким образом функционирует определение лиц в телефонах

Почему мы останавливаемся на разблокирование по лицевому распознаванию

В прошлые времена распознавание лиц является одной из самых популярных функций для открытия умных телефонов. Еще пару годков ранее основная часть юзеров удовлетворялись пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Что обуславливает эту конкретную функцию очень нужной? Для начала, это практично: не нужно удерживать в памяти трудные пароли или находить правильный палец в мраке. Также, это быстро: современные алгоритмы идентифицируют лицо буквально за мгновения ока. В-третью очередь, это чувство футуризма — будто в кинолентах про admiral x шпионов.

Однако за этой кажущейся простотой скрывается полный мир трудных методов и инженерных решений. Позвольте нам исследовать, как конкретно действует идентификация по лицу в актуальных мобильных телефонах, какие существуют способы, насколько они безопасны и что нас ждёт впереди.

Короткая повествование развития инноваций

Идентификация лиц как техника присутствует уже более 50 годов. Первые попытки машинного исследования облика были осуществлены еще в 1960-х годы в лабораториях США. Тогда компьютеры умели лишь обозначать силуэты лица и определять промежутки между глазами и устами на монохромных изображениях.

Изначальные коммерческие платформы стали доступны в 90-х, но они были неидеальны: действовали неспешно и часто давали сбои. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, мощных мобильных процессоров определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять свои решения.

Главные шаги работы системы идентификации

Процесс определения лица можно условно разделить на несколько важных этапов:

Распознавание лиц — камера выявляет наличие людского образа в изображении.
Выделение признаков — механизм анализирует черты лица: очертания зрительных органов, обонятельного органа, уст, позицию бровей.
Построение шаблона — создаётся особенный электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение со эталоном — созданный модель сравнивается со записанной при внесении биометрической сведениями владельца.
Принятие выбора — если сходство достаточно высокое, смартфон деблокируется.

Всякий из этих шагов запрашивает особых процедур и улучшений для скорой работы прямо на устройстве.

Аппаратные составляющие: что скрыто внутри них

Стандартная фронтальная камера.

Наиболее простой способ определения облика задействует только переднюю видеокамеру смартфона. Подобный способ осуществлён во многочисленных бюджетных вариантах Android-устройств.

Преимущества:

Не нуждается в потребляет внешних датчиков.
Шустро работает при достаточном свете.

Недостатки:

Легко обмануть фотографией или роликом.
Плохо функционирует при низком свете или нестандартных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Каким образом это функционирует:

Точечный проекционный прибор проецирует на облик использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 пятен).
Инфракрасная камера регистрирует искривление данной решетки по поверхности лица.
Создаётся трехмерная карта глубины глубины, что почти что неосуществима для подделки типичной фотографией или маской.

Преимущества

Надёжная работа даже в полной тьме.
Сильная устойчивость к фальсификациям.
Точность идентификации свыше 99%.

Добавочные сенсоры

В отдельных девайсах используются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до предмета и обратно; RGB-датчики дальности; специальные лазерные дальномеры для создания более точной 3D-модели лица.

Эти инновации применяются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный разум в действии

Текущие механизмы опознания физиономий невозможны в отсутствие применения ИИ и machine learning. Именно вследствие таким технологиям, как адмирал х, аппарат способно распознавать владельца даже при изменениях облика: новая укладка, растительность на лице, оптика или косметика не становятся барьером для открытия.

Детектирование физиономии

В начальном этапе система необходимо оперативно распознать образ лица в пределах всего снимка камеры. Для этого применяются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: процесс MTCNN способен находить облик даже в случае частичном перекрытии (например, шалью или ладонью).

Идентификация важных точек

После идентификации лица устройство, такая как адмирал х, вычисляет местоположение главных точек: кончики глаз, конец носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лицевой области.

Данное нужно для выравнивания картинки: если человек держит телефон под наклоненным, или повернул голову, программа исправляет изображение до стандартного положения для последующего изучения.

Построение биометрического идентификатора образца

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот формат очень сложно сфальсифицировать: он не хранит непосредственно картинку пользователя, а лишь особенные черты его облика, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и осуществление решения

Когда человек хочет разлочить мобильник глазами, программа воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Привыкание к изменениям внешнего вида

Увлекательная черта нынешних системы — возможность самообучения. Если ты регулярно разблокируете мобильное устройство с свежей укладкой или оптикой, алгоритм постепенно обновляет базовый модель вашего внешности для увеличения точности действия без ухудшения безопасности.

Защита биометрических данных данных.

Множество пользователи опасаются держать свои биометрические данные на мобильном устройстве из-за вероятности утечки данных или хакерской атаки. Иные компании, такие как admiral-x, предлагают решения для повышения безопасности сведений пользователей.

Локальное сбережение: Основная часть девайсов сохраняет биометричные модели лишь в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают гаджет и не доступны включая изготовителю.
Шифрование: Все информация сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних разработчиков не обладают прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Необходимо подчеркнуть значимую особенность: в случае, если кто-либо сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют меры безопасности от неосознанного разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают виды распознавания лиц?

На сегодняшний день можно выделить различить три основных способа к выполнению этой функции:

Программируемое 2D определение

Эксплуатируется только фронтальная видеокамера без дополнительных сенсоров глубины. Подобный метод используется обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; минимальная стоимость; быстрая работа при хорошем свете.
Минусы: просто одурачить снимком; ненадежная работа ночью; низкая защищенность.

Техническое объёмное сканирование

Применяет ИК камеру + проектор точек + датчики глубины (Face ID у Apple; подобные решения у Huawei Mate).
Достоинства: большая надёжность; не получится подделать изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с интеграцией ИИ

Задействуют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как адмирал х и Google Pixel Face Unlock последних поколений, сочетают фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами посторонних устройств.

Образцы использования различных техник

iPhone модели X/11/12/13/14 задействуют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз внедрил подобие Face ID в числе Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное 2D идентификацию по снимку селфи-камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ложные срабатывания

Несмотря на замечательный прогресс технологий за недавние лет, безупречных систем пока не существует:

Возможность обмана: Недорогие телефоны легко доступны четкой снимком хозяина или роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые идеальные механизмы могут ошибиться между однояйцевыми близнецами либо семьями с очень похожей внешностью.
Трансформации внешнего вида: Стремительное утрата веса/набор веса, пластические операции либо травмы порой необходимы для перерегистрации биометрических данных.
Условия записи: Сильная засветка солнцем либо плотная темнота могут уменьшить верность определения признаков.

Здесь несколько советов для надёжному эксплуатации:

Для значимых операций всегда внедряйте двухфакторную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение смартфона для защиты от новых видов атак;
Включайте настройку “Требовать открытых глаз” в тех местах, где она доступна.

В каких местах также применяется технология помимо смартфонов?

Хотя предмет этой публикации касается именно портативным гаджетам, стоит упомянуть о других сферах применения технологии:

Мониторинг входа в рабочих помещениях и резиденциях;
Платёжные аппараты банков (“Face Pay”);
Цифровые паспорта последнего типа;
Установки видеоконтроля муниципальных сервисов;
Автоматизация учёта посещаемости школ/институтов;
Аутентификация юзеров ПК/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через барьер без карты или мобильника! Аналогичные инициативы реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется технология сегодня?

Каждый годочек появляются современные концепции для улучшения качества функционирования систем лицевого распознавания:

Увеличивается детализация датчиков — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше риск неточности;
Улучшаются нейронные сети — передовые архитектуры вида MobileNetV3 позволяют скоростно адаптироваться к свежим чертам вида владельца прямо на устройстве без отправки данных в облако.
Совершенствуются методы антиспуфинга — теперь мобильные устройства могут различать настоящие живые лица от неподвижных фото/масок по микроскопическим микродвижениям.
Интеграция со умными устройствами — интеллектуальные часы могут автоматически заблокировать телефон, если обладатель ушёл далеко.
Возникают смешанные устройства — к примеру комбинирующие речевую аутентификацию + физиономию + дактилоскопический след.

Здесь, какие направления очень популярны в данный момент:

1) Миниатюризация элементов

Производители намереваются минимизировать размер отверстия (“чёлки”) под датчики на экране за счёт внедрения миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения конфиденциальности всё более расчётов происходит внутри устройства без передачи данных во сторонний облачный сервис.

3) Упорядочивание регламентов

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, с целью чтобы подобные системы, вроде admiral x, и все Android-аппы могли взаимодействовать с всеми формами биометрии единообразно.

Что решить сегодня?

Когда тебе необходима наивысшая безопасность информации, подбирайте передовые аппараты со встроенным ИК-проектором либо ToF-сенсором глубины.

iPhone всех существующих актуальных версий
Huawei Mate/P Series серии
Mix Professional
Vivo X серии
Oppo Обнаружить Икс линейки.

Если бюджет невелик – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как дополнительную опцию удобства.

Каким образом улучшить комфорт работы функции?

Есть несколько лайфхаков для тех, кто уже использует функцию распознавания лица:

Регулярно обновляйте свою фото-шаблон, если кардинально трансформируется внешний вид.
Не пренебрегайте чистить линзу фронтальной камеры – пятна могут уменьшить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает фотоаппарат как только вы берёте его в руки.
При записи старайтесь держать лицевую часть ровно впереди камеры без сильного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отворачиваетесь от дисплея.

Возможности эволюции техники

В предстоящие годы можно предполагать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: облик + речь + шаги + жесты рук!

Также вероятно появление свежих подходов охраны личной информации – например, динамическое модификация цифрового шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих техник нашего периода! Она предоставляет общение со мобильным устройством комфортнее чем до этого, и такие приложения, как admiral-x, могут в разы оптимизировать ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как функционирует эта технология внутри, – сможете осознаннее выбирать свой будущий девайс!