Doktoraty Wydziału IET

Ta strona jest tylko do odczytu. Możesz wyświetlić źródła tej strony ale nie możesz ich zmienić.
==== Zaproszenie na obronę pracy doktorskiej ====


^   **DZIEKAN i RADA WYDZIAŁU**    \\    **INFORMATYKI, ELEKTRONIKI I TELEKOMUNIKACJI**    \\    **AKADEMII GÓRNICZO-HUTNICZEJ im. ST. STASZICA W KRAKOWIE**   ^^
|   zapraszają na    \\    publiczną dyskusję nad rozprawą doktorską    \\      \\   //mgr inż. Kamila Figieli//      \\                 ||
|  **Optimization of scientific workflow execution in the cloud**  ||
|  Dyskusja odbędzie się 8 lipca 2019 r. o godz. 11.00 w sali 1.20 \\ pawilonu D-17 przy ul. Kawiory 21 w Krakowie  ||
|**PROMOTOR:**  dr hab. inż. Maciej Malawski – Akademia Górniczo-Hutnicza im. St. Staszica w Krakowie  ||
|**PROMOTOR POMOCNICZY:**  dr inż. Katarzyna Rycerz – Akademia Górniczo-Hutnicza im. St. Staszica w Krakowie  ||
|**RECENZENCI:**  | prof. Dieter Kranzlmüller – Ludwig-Maximilians-Universität München  |
|                 | dr hab. inż. Paweł Czarnul, prof. n. – Politechnika Gdańska  |
|  Z rozprawą doktorską i opiniami recenzentów można się zapoznać \\ w Czytelni Biblioteki Głównej AGH w Krakowie, Al. Mickiewicza 30  ||



==== Optimization of scientific workflow execution in the cloud ====

//mgr inż. Kamil Figiela//

**Promotor:** dr hab. inż. Maciej Malawski \\
**Promotor pomocniczy:** dr inż. Katarzyna Rycerz \\
**Dyscyplina:** Informatyka


**Abstract**

In this thesis, we address a problem of execution scientific applications in the cloud environment. Optimal provisioning of resources and scheduling of tasks enable to achieve better turnaround times and keep infrastructure costs down.

First, we propose a state of the art Mixed Integer Linear Programming (MILP) model for scheduling large scale scientific workflows on Infrastructure-as-a-Service platforms. Our heuristic minimizes the cost of workflow execution under deadline constraint. Resources are provisioned across multiple providers for a single run of the workflow. We account for the data transfer cost of cross-provider communication and consider infrastructure characteristics that are frequently omitted such as per-hour billing or resource quotas. The algorithm is evaluated on synthetic workflows representing real scientific applications, such as Montage or CyberShake. We show that MILP may be efficiently used for scheduling scientific workloads. By solving the optimization problem for multiple deadlines, we produce trade-off plots, that show how the cost depends on the deadline. Such plots are a step towards a scientific cloud workflow calculator, supporting resource management decisions for both end-users and workflow-as-a-service providers.

Later, we demonstrate that computation structure analysis and smart aggregation of tasks enables for efficient scheduling and execution of multi-frontal solver, an application typically considered as HPC that can be represented as a workflow. Specifically, we show how multi-frontal solver can be ported to be efficiently executed in loosely coupled cloud architecture. We execute the workflow using Hyperflow workflow engine and perform experiments in the real production environment. We compare results with deployment on an HPC cluster. The conclusion is that while the clouds are not as efficient in terms of raw performance as HPC systems, they can provide a better turnaround time, reducing the "time to science" which is the ultimate metric of efficiency important for the end user.

Finally, we present a novel approach to performance evaluation of serverless infrastructure. We implement a performance evaluation framework and gather experimental data over a long period of time. We present a study on performance, heterogeneity, and behavior of runtime environment on Function-as-a-Service platforms. We determine differences in computational performance characteristics on leading commercial serverless platforms. We conclude that serverless infrastructures are economically viable for some cases of scientific workloads.


**Streszczenie**

Rozprawa jest poświęcona zagadnieniu wykonania aplikacji naukowych w środowiskach chmurowych. Optymalny dobór infrastruktury i szeregowanie zadań pozwala na szybsze osiąganie rezultatów przy zachowaniu niskiego kosztu infrastruktury.

W rozprawie przedstawiono algorytm alokacji zasobów oraz szeregowania zadań dla naukowych aplikacji typu graf zadań (ang. scientific workflow) oparty o programowanie całkowitoliczbowe. Zaprezentowana heurystyka minimalizuje koszt wykonania aplikacji typu graf zadań przy ograniczonym terminie wykonania. W planie wykonania wykorzystywane są zasoby wielu dostawców. Algorytm uwzględnia koszt transmisji danych pomiędzy różnymi dostawcami usług chmurowych, godzinowy cykl rozliczeniowy i ograniczenia w dostępnej puli zasobów. W ocenie algorytmu wykorzystano rzeczywiste aplikacje naukowe takie jak Montage czy CyberShake. Otrzymane wyniki pokazują, że programowanie całkowitoliczbowe może być efektywnie wykorzystywane do planowania wykonania aplikacji naukowych.

Struktura obliczeń solwera wielofrontalnego — aplikacji typowo kojarzonej z superkomputerami — może być reprezentowana jako graf zadań. Solwer wielofrontalny został zaadaptowany do wykonania w luźno powiązanej architekturze chmury obliczeniowej. Analiza struktury obliczeń i inteligentna agregacja zadań umożliwiają wydajne wykonanie obliczeń na infrastrukturach chmurowych. Eksperymenty przeprowadzono w rzeczywistym środowisku produkcyjnym, a otrzymane wyniki porównano z pomiarami przeprowadzonymi na klastrze obliczeniowym. Choć chmury nie dorównują komputerom dużej mocy pod względem szybkości obliczeń, mogą one zapewnić szybsze rezultaty dla użytkownika, co jest ostateczną miarą wydajności z perspektywy użytkownika.

W rozprawie przedstawiono również nowatorski sposób oceny wydajności architektur bezserwerowych. Zaprojektowano i zaimplementowano system ewaluacji wydajności, a dane eksperymentalne zbierane były przez długi okres czasu. Zaprezentowane wyniki dotyczą oceny szybkości obliczeniowej, heterogeniczności i zachowania środowiska uruchomieniowego wiodących platform komercyjnych. Pokazano, że infrastruktura bezserwerowa jest ekonomicznie opłacalna w przypadkach niektórych aplikacji naukowych.




==== Recenzje ====

  * {{:2019:figiela:kranzmuller-recenzja.pdf|prof. Dieter Kranzlmüller – Ludwig-Maximilians-Universität München}}
  * {{:2019:figiela:czarnul-recenzja.pdf|dr hab. inż. Paweł Czarnul, prof. n. – Politechnika Gdańska}}

==== Publikacje doktoranta zawarte w Rozprawie Doktorskiej ====

  - K. Figiela and M. Malawski, “Modeling, optimization and performance evaluation of scientific workflows in clouds,” in 2014 //IEEE Fourth International Conference on Big Data and Cloud Computing//, IEEE, Dec. 2014, pp. 280–280, ISBN: 978-1-4799-6719-3, DOI:[[https://doi.org/10.1109/BDCloud.2014.112|10.1109/BDCloud.2014.112]],
  - M. Malawski, K. Figiela, M. Bubak, E. Deelman, and J. Nabrzyski, “Scheduling multilevel deadline-constrained scientific workflows on clouds based on cost optimization,” //Scientific Programming//, vol. 2015, 2015, ISSN: 10589244, DOI: [[https://doi.org/10.1155/2015/680271|10.1155/2015/680271]],
  - B. Balis, K. Figiela, K. Jopek, M. Malawski, and M. Pawlik, “Porting HPC applications to the cloud: A multi-frontal solver case study,” //Journal of Computational Science//, vol. 18, pp. 106–116, 2017, ISSN: 18777503, DOI: [[https://doi.org/10.1016/j.jocs.2016.09.006|10.1016/j.jocs.2016.09.006]],
  - M. Malawski, A. Gajek, A. Zima, B. Balis, and K. Figiela, “Serverless execution of scientific workflows: Experiments with HyperFlow, AWS Lambda and Google Cloud Functions,” //Future Generation Computer Systems//, Nov. 2017, issn: 0167-739X, doi:[[https://doi.org/10.1016/J.FUTURE.2017.10.029|10.1016/J.FUTURE.2017.10.029]],
  - K. Figiela, A. Gajek, A. Zima, B. Obrok, and M. Malawski, “Performance evaluation of heterogeneous cloud functions,” //Concurrency and Computation: Practice and Experience//, Jun. 2018, DOI:[[https://doi.org/10.1002/cpe.4792|10.1002/cpe.4792]].

==== Publikacje doktoranta ====

  * [[https://bpp.agh.edu.pl/autor/figiela-kamil-07943|BG AGH]]
  * [[https://dblp.uni-trier.de/pers/hd/f/Figiela:Kamil|DBLP]]
Doktoraty Wydziału IET

Narzędzia użytkownika

Narzędzia witryny

Narzędzia strony
