Rozpoznawanie gestów dłoni do celów rehabilitacyjnych

Hand gesture recognition for medical rehabilitation

Autor: Marcin Grzejszczak

Opiekun pracy: dr inż. Aleksandra Królak

Rodzaj pracy: praca dyplomowa ife

Data obrony: 2010-07-08

Streszczenie

Dzisiejsze społeczeństwo, z racji skomputeryzowania i przeważnie siedzącego trybu życia, często cierpi na różnego rodzaju problemy zdrowotne, w tym kontuzje lub choroby dłoni, takie jak np. artretyzm. W celu niesienia pomocy takim osobom stworzony został wizyjny system, który wymaga standardowego sprzętu, jakim jest komputer wyposażony w kamerę internetową, dzięki któremu użytkownik może wykonywać ćwiczenia rehabilitacyjne dłoni i nadgarstka.
Program został napisany w języku C++, wykorzystując darmowe biblioteki OpenCV. Algorytm pobiera tło, a następnie, po umieszczeniu dłoni użytkownika w polu widzenia kamery, znajduje ją i wykrywa czy jest ona otwarta, czy zamknięta. Ruch ten oraz gest zostaje porównany z wcześniej zapisanym ćwiczeniem, w celu podania wyniku dokładności powtórzenia.
Rezultaty działania programu pozwalają wnioskować, żeaplikacja może stać się dodatkiem do standardowych ćwiczeń rehabilitacyjnych dłoni i nadgarstka. Aplikacja została przetestowana na grupie 10 użytkowników. Zdecydowana większość była zadowolona z szybkości działania algorytmu, precyzji wykrycia dłoni oraz z wyników uzyskanych przy powtarzaniu zapisanych ruchów oraz gestów.

Abstract

The contemporary society, due to its computerization and sedentary lifestyle, is often affected with various health problems such as hand injuries or illnesses, e.g. arthritis. In order to help such people a vision-based system has been created. It is built from off-the-shelf components: computer with a webcam. With this system the user is able to carry out rehabilitation exercises of the hand and wrist.
The application has been written in C++ using the free OpenCV library. The algorithm first captures the background, then, after the user puts his hand in the scope of the camera, the hand is detected and classified as open or closed. This motion and gesture is afterwards compared to the previously recorded exercise in order to give feedback concerning the accuracy of the repeated sequence.
The results of the program allow to conclude that the application can become an addition to the standard hand and wrist rehabilitation exercises. The software has been tested by a group of 10 users. The vast majority was satisfied with the speed of execution of the algorithm, precision of hand detection and of the results obtained in the motion and gesture repeating exercise.