Как функционирует распознавание лицевых образов в смартфонах

Почему мы выбираем разблокировку по лицу

В последние годы распознавание лиц стало одной из самых популярных функций для разблокировки смартфонов. Всего несколько лет назад основная часть использующих обходились пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, например Spinto, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект обуславливает эту функцию очень нужной? Прежде всего, это удобно: не нужно удерживать в памяти сложные пароли или отыскивать нужный палец в тьме. Во-вторых, это быстро: современные программы идентифицируют лицо практически за доли секунды. В-третьих, это чувство будущего — будто в фильмах про казино спинто шпионов.

Однако за этой на первый взгляд несложностью скрывается целый вселенная трудных техник и инженерных решений. Попробуем разобраться, как именно действует идентификация по лицу в актуальных смартфонах, какие существуют технологии, насколько они надёжны и что нас ждёт впереди.

Сжатая история прогресса инноваций

Распознавание лиц как технология имеется уже более 50 годов. Начальные попытки автоматического исследования облика были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда компьютеры могли лишь обозначать контуры черепа и измерять дистанции между глазами и ртом на монохромных фотографиях.

Начальные коммерческие платформы появились в 1990-х годах, но они были неидеальны: работали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких платформ, как Спинто, сильных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои решения.

Ключевые стадии функционирования механизма идентификации

Процесс определения лица можно ориентировочно разделить на несколько ключевых этапов:

Идентификация лица — устройство распознает наличие людского лица в снимке.
Выделение особенностей — механизм анализирует черты физиономии: очертания зрительных органов, обонятельного органа, уст, позицию бровей.
Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение с образцом — полученный шаблон сверяется с записанной при учёте биометрической информацией владельца.
Принятие выбора — если совпадение достаточно существенное, смартфон открывается.

Любой из этих этапов запрашивает специальных методов и улучшений для быстрой работы непосредственно на девайсе.

Железные элементы: что находится внутри них

Обычная фронтальная камера.

Наиболее легкий вариант распознавания облика использует лишь лицевую видеокамеру мобильного устройства. Такой метод внедрён во многих доступных вариантах Android-девайсов.

Положительные стороны:

Не нуждается в потребляет дополнительные сенсоров.
Шустро работает при хорошем освещённости.

Недостатки:

Несложно ввести в заблуждение изображением или видеозаписью.
Плохо работает при плохом свете или необычных углах обзора.

ИК фотокамера и точечный проектор

Более совершенные системы, такие как Спинто, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология лежит в основе Face ID от Apple.

Каким способом это действует:

Точечный устройство проекции отображает на физиономию использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
Инфракрасная устройство фиксирует деформацию этой решетки по плоскости лица.
Получается трехмерная глубинная карта глубины, которая почти неосуществима для имитации типичной фотографией или маскировкой.

Выигрыши

Надёжная деятельность даже в полной неосвещённости.
Сильная сопротивляемость к фальсификациям.
Точность определения более 99%.

Дополнительные датчики

В определённых девайсах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые определяют время движения луча до предмета и обратно; Цветные-датчики дальности; специальные лазерные лидары для построения более аккуратной 3D-модели физиономии.

Эти разработки применяются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный ум на действии

Текущие системы идентификации лиц немыслимы в отсутствие эксплуатации artificial intelligence и machine learning. Именно из-за таким инновациям, как Спинто, гаджет в состоянии распознавать пользователя даже при трансформациях облика: новая стрижка, растительность на лице, оптика или макияж не становятся препятствием для открытия.

Распознавание лица

При начальном стадии алгоритм обязана быстро распознать образ лица в пределах полного снимка камеры. Для этого используются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: метод MTCNN в состоянии находить лицо даже с частичном перекрытии (например, шарфом или ладонью).

Идентификация ключевых аспектов

После обнаружения лица система, такая как Спинто, определяет местоположение ключевых точек: кончики глаз, верхушка носа, границы губ и так далее. Часто используется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это действие необходимо для выравнивания изображения: если пользователь находится с смартфон под углом, или наклонил головку, программа исправляет изображение до стандартного положения для дальнейшего анализа.

Формирование биометрического модели

Далее нейросеть строит уплотненное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Данный образец крайне сложно подделать: он не хранит само изображение юзера, а лишь исключительные особенности его облика, что делает его оптимальным для таких площадок, как Спинто казино.

Сопоставление и вынесение решения

Когда юзер хочет разлочить мобильник глазами, механизм осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый границу (обычно превышает 99%), телефон, как и платформа Спинто казино, открывается; если нет — доступ не предоставляется.

Привыкание к трансформациям внешности

Занимательная особенность нынешних системы — возможность самообучения. Если вы часто открываете телефон с новой стрижкой или очками, алгоритм постепенно освежает эталонный образец вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрии информации.

Множество клиенты боятся сохранять свои био-идентификационные данные на смартфоне из-за риска потери данных или хакерской атаки. Иные компании, например Спинто казино, предоставляют решения для увеличения защиты данных клиентов.

Локальное сбережение: Преимущественно девайсов сохраняет биометричные шаблоны исключительно внутри защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не покидают аппарат и закрыты даже изготовителю.
Шифрование: Все сведения сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних девелоперов не обладают непосредственного возможности доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.

Необходимо подчеркнуть существенную особенность: в случае, если кто-то достанет доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании осуществляют меры безопасности от автоматического разблокирования — например, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы определения лиц?

В настоящее время можно определить выделить три основных подхода к выполнению этой задачи:

Софтверное 2D распознавание

Применяется только передняя камера без дополнительных сенсоров дистанции. Этот подход наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; низкая стоимость; оперативная работа при качественном освещении.
Минусы: несложно одурачить фотографией; ненадежная работа ночью; недостаточная защищенность.

Аппаратное трёхмерное оцифровка

Использует ИК видеокамеру + проектор пикселей + датчики дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: большая надежность; невозможно подделать изображение/видеозапись; устойчивая деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Применяют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как Спинто и Google Pixel Face Unlock новейших версий, объединяют фронталку c ИК сенсором мобильности Soli Radar для защиты от подделок руками/масками/видеоэкранами посторонних устройств.

Примеры эксплуатации разнообразных техник

iPhone модели X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в числе Android.
Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение 2D определение по снимку фронталкой, так и сканер радужки глаза.
Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Трудности охраны и неверные сигналы

Несмотря на замечательный прогресс технологий за прошедшие годы, совершенных системы пока не существует:

Возможность обмана: Бюджетные смартфоны просто доступны четкой фотографией пользователя или видеозаписью с дисплея иного гаджета.
Идентичные близняшки: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родичами с очень аналогичной внешностью.
Трансформации внешности: Резкое снижение веса/увеличение массы тела, пластические операции или травмы иногда необходимы для повторной регистрации биометрии.
Условия фотографирования: Яркая подсветка солнцем или интенсивная тень могут уменьшить верность идентификации признаков.

Вот пара рекомендаций по безопасному эксплуатации:

Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
Не активируйте опцию “Разблокировка по лицу” на дешёвых моделях без ИК-сенсоров;
Регулярно апгрейдите ПО мобильного устройства для защиты от новых видов атак;
Включайте настройку “Требовать раскрытых глаз” везде, где она доступна.

В каких местах ещё находится применение технология кроме смартфонов?

Несмотря на то, что предмет данной работы касается в частности портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

Управление доступа в рабочих помещениях и жилых домах;
Платёжные устройства финансовых учреждений (“Face Pay”);
Цифровые паспорта нового типа;
Установки видеомониторинга городских служб;
Автоматизирование учёта посещаемости школ/институтов;
Вход участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Похожие инициативы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом трансформируется технический процесс в нынешнее время?

Каждый год появляются современные мысли для повышения качества функционирования систем лицевого распознавания:

Увеличивается детализация сенсоров — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс погрешности;
Улучшаются нейронные сети — новейшие конструкции модели MobileNetV3 обеспечивают возможность скоростно адаптироваться к дополнительным чертам вида пользователя напрямую на гаджете без отправки данных в облако.
Улучшаются способы антиспуфинга — теперь смартфоны умеют распознавать подлинные анимированные облики от статичных фотографий/масок по мельчайшим микродвижениям.
Синхронизация со интеллектуальными приборами — интеллектуальные часы могут автоматически блокировать телефон, если владелец отошёл далеко.
Проявляются комбинированные системы — например совмещающие голосовую опознание + облик + отпечаток пальца.

Итак, те тенденции очень актуальны на сегодняшний день:

1) Миниатюризация компонентов

Производители намереваются минимизировать размер отверстия (“чёлки”) для сенсоры на дисплее за счёт интеграции миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для улучшения конфиденциальности всё более расчётов осуществляется внутри устройства без отправки информации во сторонний облачный сервис.

3) Упорядочивание норм

Гугл интенсивно пропагандирует эталон BiometricPrompt API, чтобы такие площадки, вроде Spinto, и любые Android-приложения могли взаимодействовать с всеми формами биометрии единообразно.

Что решить сегодня?

Когда вам необходима предельная защита информации, выбирайте передовые аппараты с вмонтированным ИК-проектором или ToF-датчиком глубины.

iPhone каждого последних поколений
Huawei Companion/P ряда
Mi Professional
Vivo X модели
Oppo Find X линейки.

Если средства ограничен – лучше отдавать предпочтение классическим средствам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в Spinto, задействовать только как дополнительную возможность комфорта.

Каким способом повысить удобство функционирования опции?

Есть несколько советов для тех, кто уже использует разблокировку через лицо:

Регулярно меняйте свою фото-шаблон, если кардинально трансформируется внешность.
Не упускайте из виду очищать объектив фронтальной камеры – пятна могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует камеру если вы берёте его в руки.
В процессе регистрации старайтесь держать лицо ровно впереди камеры исключая значительного наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Перспективы прогресса техники

В ближайшие периоды можно предполагать возникновения полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + походка + манипуляции руками!

Также предполагается появление новых подходов охраны личной информации – например, изменяющееся модификация диджитал шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих техник нашего времени! Она делает общение со смартфоном комфортнее чем раньше, и такие приложения, как Спинто казино, могут существенно повысить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы осведомлены, как устроена эта методика внутри, – сумеете осознаннее подбирать свой очередной девайс!