Студент Таврического колледжа, лаборант лаборатории цифрового творчества «ФабЛаб» Крымского федерального университета Денис Щербаков разработал систему для распознавания жестового языка. Проект включает в себя три системы распознавания жестов, одна из которых построена на основе нейросети.

«Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить её всему тому, что нужно», – отметил Денис Щербаков.

Студент использовал датасет – базу данных, на основе которой обучается нейросеть. С её помощью он научил нейросеть распознаванию дактильной азбуки – побуквенного языка жестов.

Для разработки использовалась система, состоящая в сравнении координат – костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путём математики и алгоритмов был создан датасет, при помощи которого можно идентифицировать жест.

Посредством камеры программа распознаёт жесты и выводит буквы на экран. Как отмечает студент, одним из самых сложных в процессе разработки было создание датасета.

«Особенность заключается в том, что чем больше датасет, тем лучше можно обучить нейросеть, и тем лучше будет система. В датасете, на основе которого разрабатывалась наша система, на каждую букву приходится от ста до двухсот примеров жестов от разных людей, с разных камер и ракурсов. Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть», – поделился Денис Щербаков.

На данный момент система способна распознавать более тридцати знаков.

Помимо разработки системы распознавания жестов, Денис увлекается программированием, моделированием и кинематографом, а также имеет опыт работы с робототехникой и 3D-печатью.

Текст: Каролина Лазарева
Фото: Ксения Гасица
Пресс-служба КФУ