Каким образом работает определение лиц в телефонах
Почему мы останавливаемся на разблокирование по фейсу
В недавние времена распознавание физиономий превратилось в одной из наиболее востребованных возможностей для открытия умных телефонов. Лишь пару годков назад основная часть пользователей обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.
Какая вещь обуславливает эту возможность такой востребованной? Прежде всего, это практично: не нужно удерживать в памяти замысловатые пароли или искать правильный палец в тьме. Кроме того, это мгновенно: современные алгоритмы распознают лицо буквально за мгновения ока. В-третьем пункте, это чувство футуризма — как будто в фильмах про адмирал х разведчиков.
Впрочем за данной видимой легкостью прячется полный универсум комплексных технологий и инженерных разработок. Попробуем разобраться, как именно работает распознавание лиц в актуальных смартфонах, какие применяются методы, насколько они надёжны и что нас ожидает в будущем.
Краткая повествование эволюции техники
Распознавание лиц как техника существует уже более пятидесяти лет. Первые эксперименты машинного исследования лица были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ способны были лишь выделять очертания головы и измерять промежутки между глазами и губами на монохромных фотографиях.
Первые торговые установки стали доступны в девяностых годах, но они были неидеальны: работали медленно и часто давали сбои. Только с эволюцией искусственных сетей и таких площадок, как адмирал х, сильных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.
В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные разработки.
Ключевые стадии действия механизма распознавания
Процесс определения лица можно ориентировочно поделить на несколько ключевых этапов:
- Обнаружение лица — аппарат выявляет существование человеческого образа в кадре.
- Определение особенностей — механизм исследует особенности облика: форму зрительных органов, носа, губ, расположение бровей.
- Построение структуры — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
- Сравнение со стандартом — полученный шаблон сопоставляется с сохранённой при внесении биометрической информацией владельца.
- Принятие выбора — если соответствие достаточно высокое, смартфон открывается.
Каждый из указанных шагов нуждается в особых алгоритмов и усовершенствований для оперативной работы непосредственно на девайсе.
Железные элементы: что скрыто внутри них
Стандартная фронтальная камера.
Простейший легкий вариант идентификации лица использует лишь фронтальную камеру мобильного устройства. Данный подход внедрён во многочисленных недорогих версиях Android-устройств.
Положительные стороны:
- Необходимо потребляет дополнительных датчиков.
- Оперативно действует при достаточном свете.
Недостатки:
- Легко одурачить фотографией или видеозаписью.
- Плохо действует при низком освещённости или непривычных ракурсах.
ИК фотокамера и пунктирный проектор
Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.
Как это работает:
- Точечный проекционный прибор проецирует на физиономию юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
- Инфракрасная устройство фиксирует изменение формы этой решетки по поверхности физиономии.
- Формируется 3D карта глубины, которая почти невозможна для фальсификации типичной снимком или маскировкой.
Преимущества
- Надёжная работа даже в полной темноте.
- Сильная сопротивляемость к имитациям.
- Точность идентификации более 99%.
Дополнительные датчики
В некоторых девайсах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время распространения света до цели и обратно; RGB-датчики глубины; специальные оптические лидары для построения более точной 3D-модели лица.
Эти инновации применяются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).
Программные алгоритмы: искуственный ум на действии
Текущие системы распознавания лиц невозможны при отсутствии использования artificial intelligence и машинного обучения. Именно из-за таким разработкам, как адмирал х, аппарат может идентифицировать пользователя даже при метаморфозах внешности: новая причёска, борода, оптика или макияж не становятся препятствием для разблокировки.
Детектирование лица
На стартовом этапе программа обязана оперативно распознать образ лица в пределах всего изображения камеры. Для данной цели используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.
Пример: алгоритм MTCNN в состоянии обнаруживать физиономию даже с неполном перекрытии (например, платком или ладонью).
Определение ключевых точек
После идентификации лица система, такая как адмирал х, устанавливает местоположение основных точек: кончики глаз, конец носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых точек на лицевой области.
Это действие нужно для стабилизации изображения: если юзер удерживает смартфон под углом, или склонил голову, программа корректирует картинку до стандартного положения для последующего изучения.
Построение биометрии шаблона
Далее нейросеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.
Такой образец очень трудно сфальсифицировать: он не сохраняет непосредственно картинку юзера, а лишь исключительные характеристики его облика, что делает его оптимальным для таких платформ, как admiral-x.
Сравнение и вынесение заключения
Если человек намеревается разлочить телефон взором, система осуществляет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.
Если аналогичность превышает определённый границу (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.
Приспособление к изменениям облика
Занимательная характеристика нынешних системы — способность самостоятельного обучения. Если ты регулярно открываете мобильное устройство с новой укладкой или очками, алгоритм постепенно освежает основной модель вашего лица для увеличения точности действия без ухудшения безопасности.
Защита биометрических данных.
Множество клиенты боятся держать свои биометрические идентификационные данные на телефоне из-за угрозы утечки информации или взлома гаджета. Иные организации, например admiral-x, предлагают решения для увеличения безопасности данных пользователей.
-
Локальное сбережение: Большинство девайсов записывает биометрические модели лишь в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не выходят из устройство и не доступны включая производителю.
-
Шифрование: Все информация хранятся только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
-
Изоляция программ: Программы сторонних девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.
Следует упомянуть существенную деталь: если кто-то сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании осуществляют меры безопасности от автоматического разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.
Какие именно бывают категории определения лиц на изображениях?
На сегодняшний день можно выделить различить 3 ключевых способа к осуществлению этой задачи:
Программное двухмерное распознавание
Применяется только фронтальная камера без экстра сенсоров глубины. Этот способ используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).
Преимущества: простота воплощения; низкая стоимость; оперативная деятельность при качественном освещении.
Минусы: несложно обмануть снимком; нестабильная работа ночью; слабая защищенность.
Техническое трёхмерное оцифровка
Применяет инфракрасную камеру + проекционный модуль пикселей + датчики дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: большая достоверность; нельзя обмануть фото/видео; постоянная деятельность при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)
Смешанные способы с ИИ-дополнением
Применяют комбинацию программных методов + аппаратную обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock новейших версий, объединяют фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами чужих устройств.
Примеры использования разнообразных техник
- iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное 3D-сканирование
- Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID среди Android.
- Samsung Galaxy S10 модель/S20 поддерживают как софтверное двухмерное распознавание по фото селфи-камерой, так и сенсор радужки глаза.
- Huawei Mate20 Pro задействует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент
Вопросы безопасности и ошибочные срабатывания
Несмотря на впечатляющий прогресс техники за недавние годы, безупречных механизмов пока не наблюдается:
- Возможность подвоха: Доступные мобильники без труда доступны высококачественной изображением пользователя или же роликом с дисплея иного гаджета.
- Идентичные двойняшки: Даже самые совершенные устройства могут перепутать между монозиготными близнецами либо семьями с очень похожей внешностью.
- Метаморфозы облика: Резкое утрата веса/набор веса, косметические процедуры или повреждения в некоторых случаях требуют обновления данных биометрии.
- Условия фотографирования: Интенсивная освещённость солнечным светом либо плотная темнота могут снизить точность идентификации признаков.
Ниже некоторые советов для безопасному эксплуатации:
- Для важных операций всегда внедряйте двухэтапную аутентификацию;
- Не запускайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
- Регулярно обновляйте прошивку прошивку мобильного устройства для предотвращения угроз от современных угроз;
- Включайте настройку “Требовать раскрытых глаз” в тех местах, где она доступна.
Где дополнительно используется технологии кроме смартфонов?
Несмотря на то, что предмет нашей работы касается в частности смартфонам и планшетам, необходимо сказать о других сферах применения технологии:
- Контроль прохода в офисах и резиденциях;
- Платёжные аппараты банков (“Face Pay”);
- Электронные удостоверения личности последнего образца;
- Системы видеоконтроля городских служб;
- Автоматизация отслеживания присутствия учебных заведений/вузов;
- Вход участников персональных компьютеров/ноутбуков.
Например: В городском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без пластика или телефона! Аналогичные проекты реализуются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.
Каким образом трансформируется техпроцесс сегодня?
Каждый годик появляются новые мысли для улучшения стандарта деятельности систем лицевого распознавания:
- Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
- Совершенствуются нейронные сети — современные конструкции модели MobileNetV3 позволяют скоростно обучаться дополнительным характеристикам внешности владельца прямо на устройстве без отправки данных в облако.
- Улучшаются методы антиспуфинга — теперь мобильные устройства умеют распознавать реальные живые лица от статичных фото/маскировок по незаметным движениям кожи.
- Взаимодействие со смарт-гаджетами — умные часы могут самостоятельно блокировать телефон, если обладатель отошёл далеко.
- Появляются комбинированные устройства — в частности комбинирующие речевую аутентификацию + облик + пальцевой отпечаток.
Итак, те тренды особенно актуальны в данный момент:
1) Уменьшение деталей
Компании стараются уменьшить размер отверстия (“чёлки”) для сенсоры на экране за счёт интеграции миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.
2) Обработывание прямо на аппарате
Для увеличения личной безопасности всё более обработки данных осуществляется внутри устройства без отправки информации во внешний облачный услугу.
3) Унификация норм
Google активно пропагандирует эталон BiometricPrompt API, с целью чтобы подобные площадки, например как admiral x, и каждые Android-программы могли взаимодействовать с всеми формами биометрии унифицированно.
Что подобрать на сегодня?
В случае если вам всем необходима наивысшая защита данных, остановите выбор на топовые модели с вмонтированным ИК-проектором или же ToF-сенсором глубины.
- iPhone всех существующих новейших моделей
- Huawei Mate/P ряда
- Xiaomi Expert
- Vivo X серии
- Oppo Обнаружить Х линейки.
Если бюджет невелик – лучше отдавать предпочтение обычным способам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как второстепенную возможность удобства.
Как повысить удобство работы возможности?
Есть некоторые лайфхаков для пользователей, кто уже пользуется разблокировку через лицо:
- Часто обновляйте свою фото-шаблон, если сильно изменяется облик.
- Не пренебрегайте очищать линзу передней камеры – пятна могут снизить точность!
- Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует камеру как только вы поднимаете его.
- При регистрационного процесса пытайтесь держать лицевую часть ровно напротив объектива без значительного наклона головы.
- Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от дисплея.
Возможности развития инноваций
В ближайшие периоды можно ожидать появления полностью безконтактных способов идентификации индивидуума сразу по нескольким биометрическим параметрам одновременно: облик + голос + походка + манипуляции руками!
Также вероятно возникновение свежих подходов обеспечения конфиденциальности – скажем, переменное корректировка диджитал образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.
Распознавание лиц – единственная из самых увлекательных техник нашего периода! Она обеспечивает общение со телефоном комфортнее чем когда-либо прежде, и такие программы, как admiral-x, могут значительно повысить ваш пользовательский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.
Теперь, раз вы осведомлены, как работает эта система изнутри, – будете в состоянии более осмысленно определять свой следующий устройство!