Doktoraty Wydziału IET

mgr inż. Mariusz Oszust

Promotor: dr hab. inż. Marian Wysocki, prof. n. PRz – Politechnika Rzeszowska
Dyscyplina: Informatyka

Celem pracy było opracowanie metody rozpoznawania słów i pojedynczych zdań polskiego języka migowego na podstawie analizy sekwencji wizyjnych. Większość wypowiedzi w języku migowym to gesty dynamiczne, które w wizyjnych systemach rozpoznawania są reprezentowane przez szeregi czasowe, tzn. przebiegi zmienności cech wyznaczonych na podstawie analizy obrazów. Przedmiotem badań była metoda rozpoznawania wykorzystująca modelowanie gestów za pomocą jednostek mniejszych niż słowa. Przypomina to modelowanie za pomocą fonemów w przypadku języka mówionego. Ponieważ nie wiadomo dokładnie, co w wypowiedzi w języku migowym stanowi odpowiedniki fonemów (nazywane cheremami), zaproponowana w pracy metoda wyodrębnienia cheremów opiera się na analizie danych. Polega ona na określeniu sposobu segmentacji szeregów czasowych reprezentujących wypowiedzi, by powstałe fragmenty - traktowane jako poszukiwane cheremy - tworzyły jednorodne grupy. Punkty podziału szeregów czasowych są wyznaczane jako rozwiązanie zadania optymalizacji, znajdowane z wykorzystaniem algorytmów opartych na analogiach biologicznych (algorytm immunologiczny i genetyczny). Według aktualnej wiedzy autora, tak sformułowane zadanie nie było dotąd rozpatrywane w odniesieniu do rozpoznawania wypowiedzi języka migowego.

W zastosowanym podejściu cherem był reprezentowany przez szereg czasowy znajdujący się w klastrze lub ukryty model Markowa klastra. Metodę zweryfikowano z powodzeniem na bazie 101 słów i 35 zdań używanego w Polsce Systemu Językowo-Migowego (SJM) wykonując liczne eksperymenty. Położono nacisk na ocenę wpływu metod określania podobieństwa między cheremami, metod grupowania i wskaźników oceny klastrów, technik optymalizacji oraz typu klasyfikatora na skuteczność rozpoznawania. Badania potwierdziły zasadność stosowania jednostek mniejszych niż słowa do modelowania wyrażeń SJM. W szczególności, w przypadku dostępności do niewielkiej liczby przykładów uczących uzyskiwano znacząco lepsze rezultaty niż dla klasyfikatora wykorzystującego wyłącznie modele całych słów.

Integralną częścią pracy jest zaprojektowany przez autora prototyp środowiska wspomagającego eksperymenty i gromadzenie oraz udostępniane danych.

Za najważniejsze osiągnięcia pracy autor uważa:

• Metodę wyznaczania cheremów opartą na grupowaniu szeregów czasowych,
• Metodę modelowania słów i prostych zdań z wykorzystaniem cheremów,
• Metodę rozpoznawania słów i prostych zdań z wykorzystaniem opracowanych modeli,
• Środowisko wspomagające eksperymenty i gromadzenie oraz udostępnianie danych,
• Wyniki eksperymentów weryfikujących opracowane metody.

Dłuższa wersja autoreferatu marosz_autoreferat.pdf.

Wybrane publikacje doktoranta:

1. Oszust M., Wysocki M.: Clustering and Classification of Time Series Representing Sign Language Words, Rutkowski L., Korytkowski M., Scherer R., Tadeusiewicz R., A. Zadeh L., M. Zurada J. (Eds.), ICAISC 2013, vol. 7895, Lecture Notes in Computer Science, pp. 218-229. Springer Berlin Heidelberg, 2013.
2. Oszust M., Wysocki M.: Modelling and Recognition of Signed Expressions Using Subunits Obtained by Data–Driven Approach, Ramsay A., Agre G. (Eds.), AIMSA, Bulgaria, vol. 7557, Lecture Notes in Computer Science, pp. 315–324. Springer, 2012.
3. Wysocki M., Kapuściński T., Marnik J., Oszust M., Rozpoznawanie gestów wykonywanych rękami w systemie wizyjnym, Oficyna Wydawnicza Politechniki Rzeszowskiej, ISBN 978-83-7199-701-3, Rzeszów, 2011.
4. Oszust M., Wysocki M.: Recognition of Signed Expressions Using Visually–Oriented Subunits Obtained by an Immune–Based Optimization, T. Martin et al. (Eds.): International Conference of Soft Computing and Pattern Recognition, SoCPaR 2010, IEEE Conference Publications, Cergy Pontoise - Paris, France, pp. 41-46, 2010.
5. Oszust M., Wysocki M.: Determining Subunits for Sign Language Recognition by Evolutionary Cluster-Based Segmentation of Time Series, Rutkowski L., Scherer R., Tadeusiewicz R., A. Zadeh L., M. Zurada J. (Eds.): Artifical Intelligence and Soft Computing, Lecture Notes in Computer Science, Springer-Verlag Berlin / Heidelberg, pp. 189–196, 2010.
6. Oszust M., Wysocki M.: A Distributed Immune Algorithm for Solving Optimization Problems, Badica C., Mangioni G., Carchiolo V., Dan Burdescu D. (Eds.): 2nd International Symposium on Intelligent Distributed Computing – IDC 2008, Catania, Italy, Intelligent Distributed Computing, Systems and Applications, Studies in Computational Intelligence Springer-Verlag Berlin / Heidelberg t. 162, pp. 147-155, 2008.