Как работает идентификация лицевых образов в телефонах

Как работает идентификация лицевых образов в телефонах

Почему мы выбираем разлочивание по лицу

В последние годы идентификация лиц превратилось в одной из наиболее востребованных функций для открытия мобильных телефонов. Еще несколько лет назад основная часть юзеров удовлетворялись PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что обуславливает данную возможность настолько популярной? Прежде всего, это практично: не нужно запоминать замысловатые пароли или находить нужный палец в темноте. Кроме того, это мгновенно: современные системы узнают лицо практически за мгновения ока. В-третьем пункте, это впечатление футуристичности — как будто в фильмах про admiral x агентов.

Тем не менее за такой кажущейся несложностью скрывается полный мир трудных техник и инженерных решений. Позвольте нам разобраться, как конкретно действует фейсканирование в актуальных мобильных телефонах, какие бывают технологии, насколько они безопасны и что нас ждёт впереди.

Краткая хроника развития инноваций

Распознавание лиц как методика имеется уже более пятидесяти годов. Изначальные эксперименты автоматического исследования облика были сделаны еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ могли лишь выделять силуэты черепа и определять промежутки между глазами и губами на черно-белых снимках.

Начальные торговые установки возникли в 1990-х годах, но они были несовершенны: функционировали медленно и нередко ошибались. Только с развитием искусственных сетей и таких платформ, как адмирал х, мощных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять свои разработки.

Главные шаги функционирования механизма определения

Процесс распознавания лица можно примерно разделить на несколько ключевых этапов:

1. Идентификация лица — аппарат выявляет наличие людского образа в кадре.
2. Извлечение признаков — механизм исследует черты лица: очертания зрительных органов, носа, губ, положение бровей.
3. Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — созданный модель сверяется со записанной при учёте биометрической информацией владельца.
5. Принятие решения — если сходство достаточно существенное, смартфон деблокируется.

Любой из указанных стадий запрашивает индивидуальных методов и усовершенствований для оперативной работы непосредственно на девайсе.

Железные элементы: что находится внутри

Типичная селфи камера.

Самый простой способ определения лица использует исключительно переднюю видеокамеру смартфона. Такой подход реализован во многих доступных моделях Android-устройств.

Преимущества:

• Не нуждается в требует дополнительные сенсоров.
• Оперативно действует при хорошем освещении.

Недостатки:

• Просто ввести в заблуждение фотографией или видеозаписью.
• Плохо функционирует при низком освещении или непривычных ракурсах.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика является основой Face ID от Apple.

Каким способом это функционирует:

• Точечный проектор показывает на лицо использующего невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
• ИК камера фиксирует изменение формы этой сетки по плоскости лица.
• Формируется 3D глубинная карта глубинности, которая почти неосуществима для фальсификации стандартной снимком или маскировкой.

Преимущества

• Надёжная деятельность даже в полной темноте.
• Большая сопротивляемость к имитациям.
• Точность идентификации свыше 99%.

Дополнительные датчики

В определённых устройствах используются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые измеряют период распространения света до предмета и обратно; Трехцветные-датчики дальности; специальные лазерные дальномеры для создания более детализированной 3D-модели физиономии.

Эти инновации применяются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный интеллект в действии

Нынешние механизмы распознавания лиц немыслимы при отсутствии эксплуатации ИИ и machine learning. Именно из-за таким технологиям, как адмирал х, гаджет способно узнавать пользователя даже при изменениях внешности: новая причёска, борода, очки или грим не становятся препятствием для открытия.

Распознавание лиц

На стартовом этапе программа необходимо быстро распознать лицо среди целого снимка с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые натренированы находить лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии обнаруживать облик даже при частичном закрытии (например, шалью или ладонью).

Выделение ключевых аспектов

После обнаружения лица механизм, такая как адмирал х, устанавливает положение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Как правило используется от 68 до 128 ключевых точек на лице.

Это требуется для стабилизации картинки: если человек находится с телефон под наклоном, или наклонил головку, программа корректирует изображение до нормального состояния для дальнейшего анализа.

Формирование биометрического идентификатора образца

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 флоатов.

Этот образец весьма затруднительно подделать: он не хранит непосредственно картинку юзера, а лишь уникальные характеристики его внешности, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и принятие решения

Когда юзер желает разблокировать мобильник глазами, программа осуществляет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Приспособление к трансформациям внешности

Увлекательная черта нынешних системы — возможность самостоятельного обучения. Если вы регулярно открываете телефон с новой прической или очками, система постепенно освежает базовый модель вашего облика для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрии данных.

Многие пользователи беспокоятся хранить свои биометрические идентификационные данные на смартфоне из-за угрозы потери данных или хакерской атаки. Иные организации, например admiral-x, предоставляют методы для повышения безопасности данных юзеров.

• Локальное сохранение: Преимущественно девайсов сохраняет био-идентификационные образцы лишь внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не выходят из аппарат и не доступны включая производителю.

• Шифрование: Все сведения сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Программы внешних разработчиков не обладают прямого возможности доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.

Следует отметить важную особенность: в случае, если кто-либо достанет доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители осуществляют защиту от “слепого” разблокирования — в частности, просят раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы распознавания лиц на изображениях?

На сегодняшний день можно определить определить 3 ключевых способа к реализации этой операции:

Софтверное двухмерное распознавание

Эксплуатируется только фронтальная видеокамера без экстра сенсоров глубины. Этот подход встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; умеренная стоимость; оперативная деятельность при достаточном освещении.
Минусы: легко обмануть снимком; нестабильная функционирование ночью; недостаточная защищенность.

Оборудование для объёмное сканирование

Использует инфракрасную видеокамеру + проекционный модуль точек + датчики дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: высокая надёжность; невозможно исказить фото/видео; устойчивая функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Применяют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock новейших версий, сочетают фронталку c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры применения различных техник

• iPhone серии X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз представил эквивалент Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение 2D распознавание по фото фронтальной камерой, так и сенсор радужки глаза.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы защиты и неверные тревоги

Несмотря на впечатляющий успехи технологий за прошедшие лет, безупречных механизмов пока не существует:

1. Возможность обмана: Недорогие мобильники просто “разблокируются” качественной изображением пользователя или же видеозаписью с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые идеальные устройства могут перепутать между монозиготными близнецами либо родичами с очень похожей внешностью.
3. Трансформации внешнего вида: Стремительное снижение веса/набор веса, хирургические вмешательства или травмы иногда необходимы для обновления данных биометрии.
4. Условия съёмки: Сильная подсветка солнцем либо интенсивная затенение могут снизить верность определения признаков.

Ниже пара рекомендаций по надёжному применению:

• Для значимых операций всегда используйте двухэтапную аутентификацию;
• Не запускайте опцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
• Постоянно обновляйте прошивку ПО смартфона для обеспечения безопасности от современных угроз;
• Включайте функцию “Требовать раскрытых глаз” везде, где она имеется.

В каких областях ещё применяется технология за исключением смартфонов?

Хотя предмет нашей публикации касается в частности смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

• Управление прохода в офисах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Электронные идентификационные документы нового поколения;
• Системы видеоконтроля городских сервисов;
• Автоматизирование регистрации посещаемости учебных заведений/вузов;
• Авторизация пользователей ПК/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Аналогичные инициативы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом меняется технический процесс в нынешнее время?

Всякий год возникают современные концепции для улучшения стандарта деятельности систем распознавания лиц:

1. Увеличивается детализация сенсорных устройств — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше шанс погрешности;
2. Развиваются нейросети — новейшие структуры модели MobileNetV3 позволяют оперативно обучаться свежим чертам вида владельца прямо на устройстве без отправки данных в облако.
3. Совершенствуются технологии антиспуфинга — теперь телефоны способны отличать настоящие живые облики от неподвижных фото/масок по незаметным движениям кожи.
4. Синхронизация со умными устройствами — интеллектуальные часы могут автоматически закрыть доступ к смартфон, если владелец ушёл далеко.
5. Возникают смешанные устройства — в частности совмещающие аудио опознание + облик + отпечаток пальца.

Вот, те направления особенно актуальны на сегодняшний день:

1) Миниатюризация элементов

Производители пытаются уменьшить размер отверстия (“чёлки”) под сенсоры на дисплее за счёт интеграции маленьких ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для увеличения личной безопасности всё более обработки данных осуществляется на месте без пересылки информации во сторонний облачный сервис.

3) Стандартизация стандартов

Гугл активно продвигает эталон BiometricPrompt API, чтобы такие площадки, например как admiral x, и каждые Android-приложения были совместимы с всеми формами биометрии унифицированно.

Какое выбрать на сегодня?

Когда вам всем необходима максимальная защита данных, выбирайте топовые аппараты с интегрированным ИК-проектором или же ToF-сенсором глубины.

• iPhone каждого последних моделей
• Huawei Companion/Series P серии
• Xiaomi Pro
• Vivo X серии
• Oppo Найти X серии.

Если финансы невелик – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную опцию комфорта.

Каким способом улучшить практичность работы возможности?

Есть пара советов для пользователей, кто уже использует разблокировку по лицу:

1. Часто меняйте свою фото-шаблон, если сильно меняется облик.
2. Не забывайте протирать линзу передней камеры – разводы могут понизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует камеру как только вы поднимаете его.
4. Во время регистрации пытайтесь сохранять лицевую часть прямо впереди объектива исключая значительного наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от экрана.

Перспективы развития технологии

В ближайшие годы можно предвкушать появления полностью бесконтактных способов идентификации индивидуума сразу по нескольким биометрическим параметрам одновременно: облик + речь + манера ходьбы + движения рук!

Также возможно развитие новых способов защиты приватности – например, переменное изменение электронного шаблона после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из самых захватывающих инноваций нашего периода! Она делает интеракцию со смартфоном проще чем раньше, и такие аппы, как admiral-x, могут значительно улучшить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как работает эта методика внутри, – сможете более осмысленно подбирать свой следующий девайс!