Aplikacja mobilna do interaktywnej sonifikacji obrazów dla osób niewidomych

Celem pracy było zaprojektowanie i implementacja aplikacji mobilnej
przeznaczonej do interaktywnej sonifikacji obrazów. Oprogramowanie ma wspomagać
analizę obrazów przez osoby słabowidzące oraz niewidome. Elementami na które stawiano
największy nacisk był konfigurowalny mechanizm sonifikacji oraz przejrzysty i w pełni
udźwiękowiony interfejs użytkownika. Moduły dostępne w aplikacji to interaktywna
sonifikacja, gry, tryb testu i rysowania, każdy z nich może być wykorzystany w innym
celu, na przykład do nauki lub sprawdzenia wiedzy.
Mechanizm sonifikacji zakłada wykorzystanie dwunastu ścieżek dźwiękowych,
które, na podstawie fragmentu obrazu wskazanego przez użytkownika, są odpowiednio
modyfikowane. Zmiana parametrów amplitudy i częstotliwości odtwarzania dotyczy
pojedynczego buforu, a foldery z których ma być pobrany dźwięk oraz sposób w jaki ma
zachodzić modyfikacja są ustawiane w pliku konfiguracyjnym. Do wykorzystania zostały
zaproponowane dwa modele odtwarzania – periodyczny i ciągły. Pierwszy z nich
powoduje modulowanie dźwięków w powtarzających się cyklach, natomiast podczas
działania drugiego parametry zmieniają się tylko w momencie zmiany przez użytkownika
obszaru zainteresowania.
Językiem wybranym do napisania aplikacji, dostępnej na urządzenia mobilne
z systemem operacyjnym Android, jest Java. Oprogramowanie zostało poddane badaniom,
w ramach których osoby widzące, niewidome i niedowidzące przetestowały dostępne
funkcjonalności. Użytkownicy pozytywnie odebrali aplikację, wszystkie założone cele
zostały spełnione.
Słowa kluczowe: sonifikacja interaktywna, Android, aplikacja mobilna, niewidomi

The aim of my thesis was to develop and implement a mobile system for interactive
sonification of images. The application is designed for helping blind and visually impaired
people in analyzing images. Because of the purpose, the user interface is accessible and all
available options and GUI elements are presented via voice communications.
The following modules have been implemented: interactive sonification, tests, games and
drawing mode.
The sonification engine is based on additive synthesis of twelve buffers.
The amplitude, frequency or contents of each buffer can be modified depending on the
image content, which the user points at on the tactile interface. Two methods for playing
sounds have been implemented in the application: continuous and periodic. The first one
changes playback parameters only if the user changes the selected area of interest.
The second method automatically scans a selected region of the image in short repeated
cycles All parameters are read from configuration files, which can be customized for
individual images, tests or games.
The program is available for mobile devices with the Android operating system and
is written in Java. The application has been tested by both blind and sighted people and the
positive feedback was received.
Descriptors: interactive sonification, Android, mobile application, blind people