Doktoraty Wydziału IET

Akceleracja obliczeń algorytmów uczenia maszynowego oraz wybranych populacyjnych algorytmów inteligencji obliczeniowej ze zredukowaną precyzją danych poprzez implementację w układach GPGPU

mgr inż. Dominik Żurek

Promotor: prof. dr hab. inż. Kazimierz Wiatr (AGH) Promotor pomocniczy: dr. inż. Marcin Pietroń (AGH) Dyscyplina: Informatyka

Przedmiotem prowadzonych prac była akceleracja wybranych algorytmów uczenia maszynowego oraz wybranych populacyjnych algorytmów inteligencji obliczeniowej poprzez ich implementacje˛ w układach GPGPU. Ważnym aspektem prac było zbadanie wpływu użycia zredukowanej precyzji danych na skuteczność wybranych algorytmów, szybkość obliczeń oraz oszczędność pamięci. Pierwszym zagadnieniem, dla którego podjęto próby akceleracyjne przy użyciu kart graficznych był problem LABS z rodziny algorytmów inteligencji obliczeniowej. Do rozwiązywania tego zadania został użyty algorytm SDLS w wersji podstawowej oraz jego dwie innowacyjne wersje, powstałe na potrzeby niniejszej rozprawy. Prócz algorytmu SDLS, problem LABS został rozwiązany przy pomocy równoległej wersji algorytmu TABU. Dzięki sprzętowej implementacji algorytmu SDLS, w zależności od wielkości problemu, uzyskano przyśpieszenia rzędu kilkudziesięciu razy względem równoległej wersji wykonywanej w procesorze. Z zaproponowanych nowych wersji algorytmu SDLS, rozwiązujących problem LABS najbardziej skuteczny okazał się˛ algorytm nazwany SDLS z przeszukiwaniem w głąb. Algorytmem dla którego zbadano wpływ użycia zredukowanej precyzji danych na jego efektywność, był algorytm wektorów nośnych (SVM). W tym celu zostały zaproponowane dwie metody kwantyzujące, które pozwoliły przeprowadzić trening algorytmu przy użyciu 6 bitów przy nieznacznym spadku jego skuteczność. ∼ 1% w porównaniu z treningiem wykonanym na 32 bitach. Oprócz implementacji badającej wpływ użycia zredukowanej szerokości danych na skuteczność algorytmu, dokonano pomiaru przyśpieszenia jakie można uzyskać używając mniejszej precyzji w implementacji sprzętowej przy użyciu układów GPGPU. Wykonując cały proces uczenia wektorów SVs w GPGPU, używając danych 16-sto bitowych, względem pojedynczej oraz podwójnej precyzji dla obliczenia pojedynczej klasy wektorów, uzyskano przyśpieszenia kolejno 1,26 oraz 1,76 razy. Ostatnim ważnym aspektem była próba implementacji bardziej efektywnych metod obliczania konwolucji niż te zaoferowane przez bibliotekę cuDnn, uważaną za optymalne narzędzie służące do przetwarzania sieci neuronowych w procesorach graficznych. Zaproponowane podejście opiera się na wykorzystaniu operacji związanych z przetwarzaniem macierzy rzadkich. Porównanie osiągnięć czasowych nowej metody oraz cuDnn, zostało dokonane dla danych reprezentowanych na 32 oraz 16 bitach. Porównanie szybkości obliczania konwolucji dla nowej metody oraz biblioteki cuDnn, zostało przeprowadzone dla modelu VGG-16 (konwolucja 2D), CNN-non static (konwolucja 1D) oraz konwolucji z filtrami 1×1 pochodzącymi z modelu ResNet. Największą akceleracje˛ uzyskano dla konwolucji typu 1D, gdzie dla poziomu rzadkości ∼ 90%, wyniosła ona prawie 2 razy. Dla pozostałych typów konwolucji, przy takim poziome rzadkości w zależności od warstwy, przyśpieszenie jest rzędu kilkunastu procent. Do najważniejszych oryginalnych rozwiązań autora zaprezentowanych w tej pracy należy zaliczyć wykonanie w pełni sprzętowej implementacji algorytmu SDLS oraz Tabu rozwiązujących problem LABS. Dodatkowo do rozwiązania problemu LABS zostały opracowane oraz sprzętowo zaimplementowane dwie nowe wersje algorytmu SDLS nazwane SDLS-2 oraz SDLS z przeszukiwaniem w głąb. W celu zbadania wpływu użycia zredukowanej precyzji danych podczas treningu algorytmu wektorów nośnych na jego skuteczność, zostały opracowane i zaimplementowane dwie metody kwantyzujące max magnitude dynamic fixed-point quantization oraz min-max dynamic fixed-point quantization. Użycie zredukowanej precyzji podczas treningu algorytmu wektorów nośnych zostało również przebadane pod kątem akceleracyjnym, poprzez implementacje˛ tego procesu w układach GPGPU. W celach akceleracyjnych została opracowana oraz zaimplementowana efektywna metoda obliczania konwolucji, wykorzystująca operacje na macierzach rzadkich. Wykorzystując tę metodę został zbadany wpływ użycia zredukowanej precyzji danych na szybkość wykonywania operacji konwolucji zarówno przez zaproponowana˛ metodę jak również metody pochodzące z dedykowanej biblioteki na procesorach graficznych

Praca udostępniona publicznie tutaj

Recenzja - Prof. dr hab. inż. Roman Wyrzykowski tutaj

Recenzja - Prof. dr hab. inż. Marek Skomorowski tutaj

Ważniejsze publikacje doktoranta:

1. Striving for performance of discrete optimisation via memetic agent-based systems in a hybrid CPU/GPU environment / Kamil PIĘTAK, Dominik ŻUREK, Marcin PIETROŃ, Andrzej Dymara, Marek KISIEL-DOROHINICKI Journal of Computational Science ; ISSN 1877-7503. — 2019 — vol. 31, s. 151–162.
2. Toward hybrid platform for evolutionary computations of hard discrete problems / Dominik ŻUREK, Kamil PIĘTAK, Marcin PIETROŃ, Marek KISIEL-DOROHINICKI Procedia Computer Science; ISSN 1877-0509. — 2017 — vol. 108, s. 877–886. ICCS 2017.
3. New Variants of SDLS Algorithm for LABS Problem Dedicated to GPGPU Architectures / Dominik ŻUREK, Kamil PIĘTAK, Marcin PIETROŃ, Marek KISIEL-DOROHINICKI Computational Science – ICCS 2021.
4. Evaluation and implementation of n–gram-based algorithm for fast text comparison / Maciej WIELGOSZ, Paweł Szczepka, Paweł RUSSEK, Ernest JAMRO, Kazimierz WIATR, Marcin PIETROŃ, Dominik ŻUREK Computing and Informatics / Slovak Academy of Sciences. Institute of Informatics ; ISSN 1335-9150. — Tytuł poprz.: Computers and Artificial Intelligence. — 2017 — vol. 36, s. 887–907.
5. Training with reduced precision of a support vector machine model for text classification / Dominik ŻUREK, Marcin PIETROŃ, Kazimierz WIATR W: Advances in information and communication : proceedings of the 2021 Future of Information and Communication Conference (FICC) : [29–30 April 2021, online], Vol. 2 / ed. Kohei Arai. — Cham : Springer Nature Switzerland AG, cop. 2021. — (Advances in Intelligent Systems and Computing ; ISSN 2194-5357 ; vol. 1364). — ISBN10: 978-3-030-73102-1 ; ISBN: 978-3-030-73103-8. — S. 785-798. — Bibliogr., Abstr. — Publikacja dostępna online od: 2021-04-16