Doktoraty Wydziału IET

Ta strona jest tylko do odczytu. Możesz wyświetlić źródła tej strony ale nie możesz ich zmienić.
^   **DZIEKAN i RADA WYDZIAŁU**    \\    **INFORMATYKI, ELEKTRONIKI I TELEKOMUNIKACJI**    \\    **AKADEMII GÓRNICZO-HUTNICZEJ im. ST. STASZICA W KRAKOWIE**   ^^
|   zapraszają na    \\    publiczą dyskusję nad rozprawą doktorską    \\      \\   //mgr inż. Kornela Skałkowskiego//      \\                 ||
|  **Adaptation of Service-Oriented Systems Based on Reinforcement Learning**  ||
^  Termin:|25 lutego 2015 roku o godz. 10:00  |
^  Miejsce:|pawilon D-17,  \\  ul. Kawiory 21, 30-059 Kraków  |
^  **PROMOTOR:**|Prof. dr hab. inż. Krzysztof Zieliński - Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie|
^  ** RECENZENCI:**|Prof. dr hab. inż. Ngoc Thanh Nguyen - Politechnika Wrocławska|
^  **            **|Prof. dr hab. inż. Witold Dzwinel - Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie|
|  Z rozprawą doktorską i opiniami recenzentów można się zapoznać \\ w Czytelni   Biblioteki Głównej AGH, al. Mickiewicza 30  ||


==== Adaptation of Service-Oriented Systems Based on Reinforcement Learning ====
     
//mgr inż. Kornel Skałkowski//

**Promotor:** prof. dr hab. inż. Krzysztof Zieliński (AGH)
**Dyscyplina:** Informatyka

Celem pracy doktorskiej jest przedstawienie nowego podejścia do adaptacji systemów zorientowanych na usługi, opartego o metody uczenia maszynowego. Praca przedstawia nowatorskie podejście do realizacji wzorca adaptacji MAPE-k (//ang. Monitoring, Analysis, Planning, Execution - knowledge//) dla systemów SOA (//ang. Service-Oriented Architecture//), wykorzystującego algorytmy klasteryzacji strumieni danych do realizacji komponentu analizy, oraz algorytmy uczenia ze wzmocnieniem do realizacji komponentu planowania.

Koncepcja pracy opiera się o **analizę przestrzeni stanów systemów SOA za pomocą metod klasteryzacji strumieni danych** oraz **dobór akcji do wykonania za pomocą algorytmów uczenia ze wzmocnieniem**. **Podstawowym elementem koncepcji jest algorytm uczenia ze wzmocnieniem, który na podstawie obserwacji stanów systemu i wpływu wykonanych akcji na system uczy się, które akcje są właściwe dla których stanów systemu.** Zastosowanie algorytmów uczenia ze wzmocnieniem do planowania akcji adaptacji ma szereg zalet w stosunku do istniejących podejść:
  * Nie wymaga dostarczenia żadnej wiedzy na temat adaptowanego systemu SOA.
  * Nie wymaga interwencji (aktualizacji, restartu) w przypadku wprowadzania zmian w adaptowanym systemie.
  * Nie ogranicza logiki adaptacji, np. do określonego zbioru reguł/polityk.

Bezpośrednie zastosowanie algorytmów uczenia ze wzmocnieniem do adaptacji systemów SOA nie jest jednak możliwe z uwagi na szereg ich cech, takich jak nieskończona przestrzeń stanów, ciągła ewolucja, mnogość parametrów opisujących ich stan czy zmienna szybkość zmian. Z tego względu, koncepcja przedstawiona w pracy proponuje aby działanie algorytmów uczenia ze wzmocnieniem wspomóc algorytmami klasteryzacji przestrzeni stanów w celu wyodrębnienia quasi-stabilnych stanów systemu i śledzenia ich ewolucji. Zastosowanie algorytmów ciągłej klasteryzacji do analizy przestrzeni stanów systemów SOA pozwala nie tylko na ekstrakcję stabilnych stanów (w formie klastrów) ale również na odróżnienie ich od stanów przejściowych bądź niestabilnych (odrzucanych jako tzw. "szum" w procesie klastrowania), oraz śledzenie ich ewolucji (łączenie, dzielenie, dryfowanie bądź zanikanie). Ponadto, analiza klastrów pozwala na określenie, które z wymiarów definiujących przestrzeń stanów systemu w największym stopniu przyczyniają się do zmian w nim zachodzących. Pozwala to algorytmom uczenia ze wzmocnieniem wiązać decyzje o wykonywanych akcjach adaptacji tylko z parametrami mającymi istotny wpływ na funkcjonowanie systemu.

W toku badań nad dostępnymi algorytmami uczenia ze wzmocnieniem i algorytmami klastrowania strumieni danych, do realizacji zaproponowanego podejścia wybrane zostały dwa algorytmy uczenia ze wzmocnieniem: Adaptive Gradient Descent i Q-learning oraz dwa algorytmy klasteryzacji strumieni danych: DenStream oraz D-Stream. Zaproponowane podejście do budowy adaptowalnych systemów SOA zostało zaimplementowane i przetestowane z wykorzystaniem wytypowanych algorytmów (algorytm Q-learning został zaimplementowany z wykorzystaniem czterech polityk: max-Q, ϵ-greedy, Boltzmanna i licznikowej). Ocena poprawności i efektywności zaproponowanej adaptowalnej architektury SOA została wykonana na dwóch systemach SOA: symulowanym i rzeczywistym. Oba przypadki testowe wykazały przewagę algorytmu Q-learning nad algorytmem Adaptive Gradient Descent w realizacji procesu planowania akcji adaptacji. Szczególnie dobre wyniki dało zastosowanie polityk zachłannych (max-Q, ϵ-greedy). W odniesieniu do komponentu analizy realizowanego przez algorytmy klasteryzacji strumieni danych, oba zaproponowane algorytmy uzyskały podobne wyniki. Algorytm DenStream dał lepsze wyniki w przypadku symulowanego systemu, w którym zmiany stanów zachodziły często i gwałtownie, natomiast algorytm D-Stream sprawdził się lepiej w przypadku rzeczywistego systemu SOA, którego ewolucja przebiegała wolniej.

----
\\
**Dłuższa wersja {{:2015:skalkow:autoreferat_kornelskalkowski.pdf|autoreferatu}}**
\\
----
\\
**Ważniejsze publikacje dokotoranta**
  - Automatic Adaptation of SOA Systems Supported by Machine Learning, Kornel Skałkowski, Krzysztof Zieliński, Technological Innovation for the Internet of Things, vol. 394 IFIP Advances in Information and Communication Technology / eds. Luis M. Camarinha-Matos, Slavisa Tomic, Paula Graça. - Berlin ; Heidelberg : Springer, cop. 2013
  - Applying Formalized Rules for Treatment Procedures to Data Delivered by Personal Medical Devices, Kornel Skałkowski, Krzysztof Zieliński, Journal of Biomedical Informatics; ISSN 1532-0464. – 2013 vol. 46 iss. 3 s. 530-540. – ISBN 978-3-642-37290-2 – S. 61-68.
  - QoS-based storage resources provisioning for grid applications, Kornel Skałkowski, Renata Słota, Dariusz Król, Jacek Kitowski, Future Generation Computer Systems ; ISSN 0167-739X. — 2013 vol. 29 iss. 3 s. 713–727. — Bibliogr. s. 725–726, Abstr.
  - Management of data access with quality of service in PL-Grid environment, Renata Słota, Darin Nikolow, Kornel Skałkowski, Jacek Kitowski, Computing and Informatics / Slovak Academy of Sciences. Institute of Informatics ; ISSN 1335-9150. — Tyt. poprz.: Computers and Artificial Intelligence. — 2012 vol. 31 no. 2 s. 463–479. — Bibliogr. s. 476–477, Abstr.

----
\\
**Uzasadnienie wyróżnienia pracy**

Doktorant jest autorem bądź współautorem 18 artykułów naukowych, z czego trzy [2-4] zostały opublikowane w czasopismach na liście filadelfijskiej z wysokimi współczynnikami IF. Na swoim koncie ma on również trzy rozdziały w książkach. Doktorant uczestniczył ponadto w czterech projektach badawczych finansowanych z programów krajowych oraz europejskich. Jest on także współautorem jednego wniosku patentowego (Biuletyn Urzędu Patentowego RP, 13/2014, ISSN-1689-0124).
Doktoraty Wydziału IET

Narzędzia użytkownika

Narzędzia witryny

Narzędzia strony
