Ключові технології, які використовує Микита Теличко у своєму проєкті, включають мову програмування Python та бібліотеку MediaPipe для розпізнавання жестів. Він інтегрував базу даних WLASL, що містить зразки жестів, та створив інтуїтивний користувацький інтерфейс для зручного навчання. Прототип інтерактивного словника оснащений системою розпізнавання жестів через вебкамеру, можливістю порівняння виконаного жесту з еталонними зразками та візуалізацією їхньої схожості. Про це розповідає вчителька інформатики Покровської школи №9 Дар’я Литвин.
Десятикласник Микита Теличко з Покровської школи №9 розробив інтерактивний словник для вивчення жестової мови, використовуючи технології штучного інтелекту та комп’ютерного зору. Цей інноваційний проєкт допомагає ефективно опановувати жестову мову, надаючи зворотний зв’язок щодо правильності виконання жестів. Його розробка отримала золоту відзнаку на конкурсі Малої академії наук України. Про це повідомляє Суспільне.Донбас.
Микита Теличко
Про винахідника
Микита Теличко – десятикласник Покровської школи №9, який створив проєкт для вивчення жестової мови. Юнак народився у Донецьку, однак через війну росії проти України його родина спершу переїхала до Вугледара, а згодом оселилася у Великій Британії. Попри зміну місця проживання, хлопець продовжує навчання за українською освітньою програмою.
Ідея розробки словника виникла через особисту мотивацію – у Микити є молодший брат Макар, який має порушення слуху. Хлопчик користується слуховими апаратами, однак для кращої комунікації з ним сім’я почала вивчати жестову мову. Саме тоді Микита зрозумів, що цей процес досить складний і вимагає зручного інструменту для навчання.
Його розробка отримала високу оцінку на конкурсі Малої академії наук України. Проєкт інтерактивного словника допоможе багатьом людям швидше та ефективніше опанувати жестову мову.
Як працює інтерактивний словник жестової мови?
Система, розроблена Микитою, базується на використанні технологій комп’ютерного зору. Програма розпізнає жести користувача та перекладає їх у текст або звукове мовлення. Таким чином, людина може самостійно тренуватися та покращувати свої знання жестової мови.
Юнак вибрав для свого словника американську жестову мову (ASL), оскільки вона є однією з найбільш поширених у світі. Водночас він планує розширити функціонал і додати підтримку української жестової мови (УЖМ).
Ще одна особливість проєкту – використання відкритих баз даних. Це дозволяє програмі швидко оновлювати інформацію та вдосконалювати розпізнавання жестів.
Використання комп’ютерного зору у навчанні жестової мови
Технологія комп’ютерного зору дозволяє визначати положення рук та пальців користувача, що є ключовим елементом у вивченні жестової мови. Програма аналізує відеопотік з камери, розпізнає форму жестів та зіставляє їх із базою даних.
Основні переваги цього підходу:
✔ автоматичне розпізнавання жестів. Користувачеві не потрібно вводити команди вручну – система сама визначає правильність жесту;
✔ миттєвий зворотний зв’язок. Програма повідомляє, якщо жест виконаний неправильно, та пропонує виправлення;
✔ доступність для широкого кола користувачів. Використання відкритого програмного коду дозволяє інтегрувати систему в інші освітні продукти.
Наразі технологія ще перебуває на стадії вдосконалення, але її потенціал є значним.
Особливості розробки
Використання Python та MediaPipe для розпізнавання жестів.
Інтуїтивно зрозумілий користувацький інтерфейс, який надає візуальний зворотний зв’язок щодо правильності виконання жестів.
Інтеграція бази даних WLASL для забезпечення еталонних зразків жестів.
Дар’я Литвин
Микита зробив це таким чином, щоб за допомогою штучного інтелекту розпізнавати рухи — камера зчитує рухи, співставляє з оригінальним зображенням та виводить на екран кількість відсотків співпадіння. 100% — це ідеальний збіг, 90-95% — вже молодець. Якщо ж показує 20-30% — треба повторювати, щоб підвищити свій рівень.
Дар’я Литвин
учителька інформатики Покровської школи №9
Вдосконалення проєкту
Подальші плани
Микита Теличко не планує зупинятися на досягнутому. Він уже працює над новими оновленнями свого інтерактивного словника:
- додавання підтримки української жестової мови;
- покращення точності розпізнавання жестів;
- оптимізація роботи на мобільних пристроях;
- розширення бази жестів для професійної лексики.
Юнак також планує популяризувати свою розробку серед навчальних закладів, аби зробити вивчення жестової мови більш доступним для дітей та дорослих.
Цей інтерактивний словник має потенціал стати ефективним інструментом для вивчення жестової мови та сприяти інклюзії людей з порушеннями слуху в суспільстві.
Раніше ми писали про український застосунок EYA для дітей із порушеннями мовлення.
