Распознавание лиц на микроконтроллере ESP32

Анонсированный в 2014 году китайской компании Espressif году чип ESP8266, а затем ESP32 произвели настоящую революцию в мире Интернета вещей. Они изменили как само сообщество разработчиков устройств, так и наш взгляд на доступность и целесообразность использования Интернета вещей.

Новейшие микросхемы ESP32 поддерживают такие функции безопасности, как защищённая загрузка, шифрование Flash-памяти, необходимые для реализации готовых к промышленной эксплуатации умных устройств для Интернета вещей.

Теперь, эти модули способны к примитивному машинному обучению с платформой разработки ESP-WHO.

За последний год было потрачено много времени на работу с небольшими встраиваемыми системами, велась разработка устройства с машинным обучением на основе голоса и оптической информации. Однако для работы использовались процессоры архитектуры ARM или на базе интегральных схем ASIC, такими как Intel Movidius.

Несмотря на популярность микроконтроллеров ESP8266 и ESP32 на ядре Xtensa от компании Tensilica, их использование означает, что придётся отказаться от множества популярных готовых к использованию платформ разработки для машинного обучения, так как они не поддерживаются этими микроконтроллерами.

Именно по этой причине возможности платформы ESP-WHO очень интересны. Она построена на собственной среде разработки для Интернета вещей ESP-IDF компании Espressif и предназначена для работы с обнаружением и распознаванием лиц.

Платформа ESP-WHO принимает в качестве входных данных изображения с разрешением QVGA (320×240). Обнаружение лиц реализовано на базе алгоритма MTCNN и архитектуры MobileNet (подробный обзор на Хабре) и возвращает положение всех лиц, находящихся на изображении. В свою очередь, распознавание лиц, то есть идентификация лиц конкретных людей, реализовано на базе модели MobileFace.

Если хотите поэкспериментировать с платформой ESP-WHO, то вы сможете скачать её по ссылке. Вам понадобится плата разработчика на основе микроконтроллера ESP32 со значительным количеством выводов общего назначения и более 4 МБ внешней ОЗУ с интерфейсом SPI и, по крайней мере на данный момент, модуль камеры на основе датчика изображения OV2640.

ESP-WHO — платформа разработки для обнаружения и распознавания лиц, предназначенная в настоящий момент для микросхем ESP32 компании Espressif Systems.

Платформа ESP-WHO позволяет разрабатывать приложения для обнаружения и распознавания лиц, работающих на микросхемах ESP32 компании Espressif Systems. С ней вы легко можете создавать приложения осущесвляющие обнаружение и распознавание лиц.

Например:

• Кофе-машина, которая варит кофе по вашим предпочтениям.
• Домашнее устройство, которое автоматически отключает электропитание, если с ним работает ребёнок, находящийся без присмотра.
• И многие другие приложения, отвечающие вашим нуждам.

Общая схема работы следующая:

• Обнаружение, распознавание и работа с изображением находятся в ядре платформы ESP-WHO.
• Работа с изображением предоставляет основной прикладной интерфейс для обработки изображений на микроконтроллерах ESP32.
• Обнаружение принимает на входе изображение и выдаёт положение лица, если оно присутствует. Оно реализовано на основе модели MTMN, которая включает алгоритм MTCNN и архитектуру MobileNets. Однако модель CNN была заменена на блок MobileNets, а размер модели заметно меньше других моделей обнаружения лица.
• Распознавание идентифицирует конкретного человека, и ему требуется результат обнаружения. Оно реализовано на основе модели MobileFace.
• Оптимизация по большей части предназначена для повышения точности результатов и для ускорения всего процесса. Однако она может изменять структуру сети, обновлять коэффициенты, проводить рефакторинг кода и т. д.
• И вход, и выход являются гибкими.
• На вход можно подавать изображения от камеры. Хотя на данный момент мы не предоставляем большое количество драйверов, в будущем будут выпущены драйверы для других модулей камеры.
• Результаты можно выводить посредством командной строки, ЖК‑дисплея или даже веб-сайта через http-службу и интерфейс Wi-Fi.