Rozpoznawanie wybranych znaków polskiego języka migowego na podstawie analizy sygnału EMG

Celem niniejszej pracy jest opracowanie algorytmu umożliwiającego automatyczne
rozpoznawanie wybranych znaków Polskiego Języka Migowego na podstawie analizy
sygnału EMG. Algorytm ten może zostać wykorzystany w systemie interakcji człowiekkomputer
dla osób z upośledzeniem słuchu.
Podczas rejestracji sygnałów wykorzystano elektromiografię powierzchniową
z dwubiegunową konfiguracją elektrod. Sygnał był rejestrowany z dwóch różnych mięśni
przedramienia. Sygnały odpowiadające pięciu wybranym gestom zostały zarejestrowane
od dwóch osób. Wybrane gesty, były symetryczne albo wykonywane jedną ręką, tak, aby
umożliwić rejestrację sygnału jedynie z prawej ręki.
Sygnały zostały poddane normalizacji, która miała na celu zminimalizowanie różnic
między sygnałami pobranymi od różnych osób. Następnie, dla sygnałów z obu kanałów
obliczono pięć cech na podstawie analizy w dziedzinie czasu i częstotliwości.
Z otrzymanego zbioru dziesięciu cech, na podstawie punktacji Fishera wybrano pięć, które
najbardziej różniły się pomiędzy gestami. Na podstawie wybranych cech, sygnały zostały
sklasyfikowane przy użyciu dwóch różnych algorytmów rozpoznawania: algorytmu k-NN
(k najbliższych sąsiadów) oraz algorytmu NM (najbliższa średnia). Opracowany system
został przetestowany dla pojedynczych osób oraz dla dwóch osób jednocześnie i pozwolił
na prawidłowe rozpoznanie wybranych gestów. Najwyższą rozpoznawalność (100%)
uzyskano przy użyciu algorytmu k-NN dla jednej osoby, natomiast najniższą
rozpoznawalność odnotowano dla dwóch osób przy zastosowaniu algorytmu NM (80%).

The aim of this thesis is to develop a simple algorithm for EMG-based automatic
recognition of the pre-selected gestures from Polish Sign Language, which can be
implemented in the human-computer interaction system for hearing-impaired people.
In this work, the surface electromyography with the bipolar arrangement of electrodes was
used to acquire signals from two different muscles of the forearm. The signals were
collected from two persons for five pre-selected gestures from the Polish Sign Language.
The chosen gestures were either symmetric or performed by only one hand.
The signals were normalized in order to reduce the differences in amplitudes of the signals.
Five different time- and frequency domain features were extracted from each of
the channels. In total, ten different features were obtained for each signal. For
the classification five features with the highest recognition ability were chosen on the basis
of the Fisher score.
The classification was performed by the use of two different supervised, non-parametric
algorithms, i.e. k-Nearest Neighbour Classifier with k=3 and Nearest Mean Classifier.
The developed system was tested on three different data sets: two composed of signals
acquired from a single person, and one containing signals from two different persons. In all
of the cases the developed algorithm enabled the recognition of the sign language gestures.
The highest accuracy (100%) was achieved with the use of kNN Classifier for a single
person, while the lowest recognition rate was obtained for the data set with the signals
from two persons with the use of Nearest Mean Classifier (80%).