DZIEKAN i RADA WYDZIAŁU INFORMATYKI, ELEKTRONIKI I TELEKOMUNIKACJI AKADEMII GÓRNICZO-HUTNICZEJ im. ST. STASZICA W KRAKOWIE |
|
---|---|
zapraszają na publiczą dyskusję nad rozprawą doktorską mgr inż. Kornela Skałkowskiego |
|
Adaptation of Service-Oriented Systems Based on Reinforcement Learning | |
Termin: | 25 lutego 2015 roku o godz. 10:00 |
Miejsce: | pawilon D-17, ul. Kawiory 21, 30-059 Kraków |
PROMOTOR: | Prof. dr hab. inż. Krzysztof Zieliński - Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie |
RECENZENCI: | Prof. dr hab. inż. Ngoc Thanh Nguyen - Politechnika Wrocławska |
Prof. dr hab. inż. Witold Dzwinel - Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie | |
Z rozprawą doktorską i opiniami recenzentów można się zapoznać w Czytelni Biblioteki Głównej AGH, al. Mickiewicza 30 |
mgr inż. Kornel Skałkowski
Promotor: prof. dr hab. inż. Krzysztof Zieliński (AGH) Dyscyplina: Informatyka
Celem pracy doktorskiej jest przedstawienie nowego podejścia do adaptacji systemów zorientowanych na usługi, opartego o metody uczenia maszynowego. Praca przedstawia nowatorskie podejście do realizacji wzorca adaptacji MAPE-k (ang. Monitoring, Analysis, Planning, Execution - knowledge) dla systemów SOA (ang. Service-Oriented Architecture), wykorzystującego algorytmy klasteryzacji strumieni danych do realizacji komponentu analizy, oraz algorytmy uczenia ze wzmocnieniem do realizacji komponentu planowania.
Koncepcja pracy opiera się o analizę przestrzeni stanów systemów SOA za pomocą metod klasteryzacji strumieni danych oraz dobór akcji do wykonania za pomocą algorytmów uczenia ze wzmocnieniem. Podstawowym elementem koncepcji jest algorytm uczenia ze wzmocnieniem, który na podstawie obserwacji stanów systemu i wpływu wykonanych akcji na system uczy się, które akcje są właściwe dla których stanów systemu. Zastosowanie algorytmów uczenia ze wzmocnieniem do planowania akcji adaptacji ma szereg zalet w stosunku do istniejących podejść:
Bezpośrednie zastosowanie algorytmów uczenia ze wzmocnieniem do adaptacji systemów SOA nie jest jednak możliwe z uwagi na szereg ich cech, takich jak nieskończona przestrzeń stanów, ciągła ewolucja, mnogość parametrów opisujących ich stan czy zmienna szybkość zmian. Z tego względu, koncepcja przedstawiona w pracy proponuje aby działanie algorytmów uczenia ze wzmocnieniem wspomóc algorytmami klasteryzacji przestrzeni stanów w celu wyodrębnienia quasi-stabilnych stanów systemu i śledzenia ich ewolucji. Zastosowanie algorytmów ciągłej klasteryzacji do analizy przestrzeni stanów systemów SOA pozwala nie tylko na ekstrakcję stabilnych stanów (w formie klastrów) ale również na odróżnienie ich od stanów przejściowych bądź niestabilnych (odrzucanych jako tzw. „szum” w procesie klastrowania), oraz śledzenie ich ewolucji (łączenie, dzielenie, dryfowanie bądź zanikanie). Ponadto, analiza klastrów pozwala na określenie, które z wymiarów definiujących przestrzeń stanów systemu w największym stopniu przyczyniają się do zmian w nim zachodzących. Pozwala to algorytmom uczenia ze wzmocnieniem wiązać decyzje o wykonywanych akcjach adaptacji tylko z parametrami mającymi istotny wpływ na funkcjonowanie systemu.
W toku badań nad dostępnymi algorytmami uczenia ze wzmocnieniem i algorytmami klastrowania strumieni danych, do realizacji zaproponowanego podejścia wybrane zostały dwa algorytmy uczenia ze wzmocnieniem: Adaptive Gradient Descent i Q-learning oraz dwa algorytmy klasteryzacji strumieni danych: DenStream oraz D-Stream. Zaproponowane podejście do budowy adaptowalnych systemów SOA zostało zaimplementowane i przetestowane z wykorzystaniem wytypowanych algorytmów (algorytm Q-learning został zaimplementowany z wykorzystaniem czterech polityk: max-Q, ϵ-greedy, Boltzmanna i licznikowej). Ocena poprawności i efektywności zaproponowanej adaptowalnej architektury SOA została wykonana na dwóch systemach SOA: symulowanym i rzeczywistym. Oba przypadki testowe wykazały przewagę algorytmu Q-learning nad algorytmem Adaptive Gradient Descent w realizacji procesu planowania akcji adaptacji. Szczególnie dobre wyniki dało zastosowanie polityk zachłannych (max-Q, ϵ-greedy). W odniesieniu do komponentu analizy realizowanego przez algorytmy klasteryzacji strumieni danych, oba zaproponowane algorytmy uzyskały podobne wyniki. Algorytm DenStream dał lepsze wyniki w przypadku symulowanego systemu, w którym zmiany stanów zachodziły często i gwałtownie, natomiast algorytm D-Stream sprawdził się lepiej w przypadku rzeczywistego systemu SOA, którego ewolucja przebiegała wolniej.
Dłuższa wersja autoreferatu
Ważniejsze publikacje dokotoranta
Uzasadnienie wyróżnienia pracy
Doktorant jest autorem bądź współautorem 18 artykułów naukowych, z czego trzy [2-4] zostały opublikowane w czasopismach na liście filadelfijskiej z wysokimi współczynnikami IF. Na swoim koncie ma on również trzy rozdziały w książkach. Doktorant uczestniczył ponadto w czterech projektach badawczych finansowanych z programów krajowych oraz europejskich. Jest on także współautorem jednego wniosku patentowego (Biuletyn Urzędu Patentowego RP, 13/2014, ISSN-1689-0124).