Acceleration of Cooley-Tukey algorithm using Maxeler machine Author: Nemanja Trifunović Mentor: Professor dr. Veljko Milutinović

Introduction Cooley-Tukey algorithm Maxeler platform Fast Fourier Transform Divide and conquer Uses: Digital Signal Processing, Telecommunications, The analysis of sound signals, … Maxeler platform Data flow (vs Control flow) FPGA U radu je prikazana jedna implementacija Cooley-Tukey algoritma na jeziku C++ i njeno ubrzanje koristeći Maxeler mašinu. Šta je to Cooley-Tukey algoritam ? Šta je to Maxeler platforma ? Cooley-Tukey: algoritam koji izračunava brzu Furijeovu transformaciju To znači da računa diskretnu Furijeovu transformaciju ulazne sekvence odabiraka tj. da pretvara ulazni signal iz vremenskog u spektralni domen radi po principu: podeli pa vladaj, tako što ulaznu sekvencu deli na pod sekvence, na osnovu čijih DFT-ova određuje DFT cele sekvence najkorišćeniji algoritam za izračunavanje brze Furijeove transformacije. Ima primene u mnogim oblastima elektrotehnike kao što su digitalna obrada signala, telekomunikacije, analiza zvučnih signala, ... Maxeler: Maxeler mašine su zasnovane na dataflow arhitekturi i implementirane su u FPGA tehnologiji. FPGA je skraćenica za Field-Programmable Gate Array. To znači da je ova vrsta čipova programabilna na terenu, tj. ova tehnologija omogućava izmenu veza unutar čipa nakon što je čip isporučen krajnjem korisniku. Postoje velike razlike izmedju data flow arhitekture i John von Neumann-ove control flow arhitekturu, koja se koristi u mikropocesorima. Zbog toga su neki problemi pogodniji za rešavanje koristeći controlflow arhitekturu dok su drugi problemi pak pogodniji za rešavanje koristeći dataflow arhitekturu. Najčešće se samo deo programa ubrzava korišćenjem Maxeler platforme. Ubrzani deo programa se naziva jezgro ( eng. kernel ) programa i obično predstavlja programsku petlju. Example of Fourier transformation. (Source: https://en.wikipedia.org/wiki/File:Rectangular_function.svg; https://en.wikipedia.org/wiki/File:Sinc_function_(normalized).svg, Illustration is published under Creative Commons licencom) 1/22

Problem statement Design and implementation of: The fastest possible system for calculating Fast Fourier Transform using Maxeler machine. System that will outperform currently existing solutions to this problem. Kao što je već rečeno rad se bavi problemom: Ubrzanja Cooley-Tukey algoritma pomoću Maxeler mašine Ciljevi rada su ... 2/22

Problem statement Benefits of calculating Fast Fourier Transform with Maxeler machines Benefits Higher speed of calculation. Lower power consumption. Lower space consumption. Conditions Huge amounts of data. Koja je bila motivacija za implementaciju Cooley-Tukey algoritma na Maxeler platformi ? Šta čemo time dobit ? Pogodnosti koje možemo očekivati su … u odnosu na ekvivalentnu mikroprocesorsku realizaciju. Da bi dobili nabrojane pogodnosti sledeći uslov moraju biti ispunjeni Ovo će kasnije biti detaljno objašnjeno. 3/22

Conditions and assumptions Used Maxeler machine Two Maxeler card type MAX3424A. In experiments with multiprocessor systems only one processor core was used. Za izradu rada je korišćena Maxeler mašina koja se nalazi u Matematičkom institutu. ... Koristeći ovu mašinu sintetizovana je implementacija algoritma za: 64 odabiraka u ulaznoj sekvenci kada se koriste dve kartice 32 odabiraka u ulaznoj sekvenci kada se koristi jedna kartica Multiprocesorski eksperimenti: moji + drugih autora 4/22

Overview of existing solutions FFT algorithms: Prime-factor, Bruun’s, Rader’s, Winograd, Bluestein’s, … The time complexity: O(N log N). Performance comparison of publicly available implementations. Matteo Frigo and Steven G. Johnson (from MIT) Ovi algoritmi u svojim izračunavanjima koriste različite matematičke metode. Korišćeni metodi variraju od teorije brojeva preko numeričke matematike do teorije grafova. Šta algoritmi imaju zajedničko ? ( složenost ) Iako ne postoji dokaz da je nemoguće konstruisati brži algoritam takav algoritam još nije konstruisan. Besplatne i komercijalne implementacije fftw3 - komercijalna verzija koju licencira MIT Matteo i Steven su u svojim testovima koristili samo jedno procesorsko jezgro. . 5/22

Illustration of Matteo Frigo’s and Steven G. Johnson’s experiments. Objasniti mflops skalu mflops = 5 N log2(N) / ( vreme potrebno za izračunavanje jednog FFT-a u milisekundama) Illustration of Matteo Frigo’s and Steven G. Johnson’s experiments. (Soruce: http://www.fftw.org/speed/Pentium4-3.60GHz-icc) 6/22

The proposed solution Parallelized radix 2 algorithm. Pipeline of depth O(log N), where N is the length of input sequence. Latency is proportional to the depth of pipeline. After initial delay (latency) one result in every cycle. Da bi postigli ubrzanja treba napuniti/iskoristiti pipeline. Ako nema dovoljno podataka mašina ima malo iskorišćenje. 7/22

Formal analysis Radix 2 Cooley-Tukey algorithm operates as follows: Input sequence is divided into two equal subsequences where even elements make first, while the odd elements make second sequence. Then, using the calculated DFT's of subsequences DFT of the whole sequence is calculated. 8/22

Formal analysis Detailed derivation of the following formula is given it the paper DFT of even sequence is denoted by Ek, DFT of odd sequence is denoted by a Ok and e-2πk/N is denoted by Wkn. 9/22

Illustration of pipelined execution of radix 2 algorithm. 10/22

Measurment and analysis of the performance of proposed implementation Types of performed experiments Calculation of Fourier transform of 100, 1.000, 10.000, 1.000.000 and 10.000.000 consecutive input sequences of length 8, 16, 32 i 64 points. Maxeler implementation vs reference CPU implementation Maxeler implementation vs best publicly available implementations Urađeni su sledeći testovi kako bi se izmerile performanse predložene implementacije. 11/22

Generated graphs: Maxeler vs best publicly available implementations of FFT algorithm. Run-times, depending on the number of consecutive FFT calculations (for input sequences of length 8, 16, 32 and 64). Acceleration obtained using Maxeler machine, compared to the CPU execution, depending on the number of consecutive FFT calculations (for input sequences of length 8, 16, 32 and 64). 12/22

for input sequence of 8 elements. 4 ovakva grafika ( za ulazne sekvence dužina 8, 16, 32 i 64 ) The average execution time in seconds of publicly available algorithms for calculating FFT on different architectures for input sequence of 8 elements. 13/22

Acceleration of Maxeler implementation compared to CPU implementation depending on the number of elements in the input sequence . 14/22

4 ovakva grafika ( za ulazne sekvence dužina 8, 16, 32 i 64 ) Computation time of consecutive fast Fourier transforms expressed in seconds depending on the number of consecutive calculations. 15/22

4 ovakva grafika ( za ulazne sekvence dužina 8, 16, 32 i 64 ) Acceleration of Maxeler implementation compared to CPU implementation depending on the number of consecutive calculations. . 16/22

Analysis of scalability and bottlenecks of proposed solution Transfer of data to Maxeler card and from Maxeler card Limited number of hardware resources on single Maxeler card Limited number of Maxeler cards Kod predložene implementacije postoje uska grla i problemi skalabilnosti koji se javljaju sa porastom dužine ulazne sekvence. Transfer podataka na Maxeler karticu i sa Maxeler kartice ne može da prati brzinu rada Maxeler kartice. U ovom slučaju usko grlo je u I/O kontroleru. Količina podataka koje treba poslati i vratiti sa Maxeler kartice raste linearno sa porastom dužine ulazne sekvence. Na jednoj Maxeler kartici ne postoji dovoljno hardverskih resursa da se sintetizuje jedna faza radix 2 algoritma. U ovom slučaju usko grlo je u broju raspoloživih resursa na jednoj Maxeler kartici. Količina potrebnih hardverskih resursa potrebnih da se sintetizuje jedna faza radix 2 algoritma raste linearno sa porastom dužine ulazne sekvence. Na Maxeler mašini nema dovoljno kartica da bi se sintetizovao ceo radix 2 algoritam. U ovom slučaju usko grlo je u ukupnom broju raspoloživih resursa nekog Maxeler sistema. Da bi se maksimalno iskoristila svaka raspoloživa Maxeler kartica, na jednoj Maxeler kartici, se sintetizuje onoliko faza koliko maksimalno na nju može da stane. Broj faza radix 2 algoritma raste sa zavisnošću log N u odnosu na dužinu ulazne sekvence. Količina potrebnih hardversko resursa potrebnih da se sintetizuje ceo radix 2 algoritam raste sa zavisnošću N log N u odnosu na dužinu ulazne sekvence. 17/22

Analysis of implementation Maxeler implementation of Cooley-Tukey algorithm consists of: Rearrangement of the input sequence in bit reverse order and Radix 2 algorithm. U radu je data referentna implementacija koja radi na mikroprocesoru i iz koje je minimalnom transformacijom dobijena Maxeler implementacija. Dva kernela Bit Reverse kernel i radix 2 kernel Objasniti zašto je potreban Bit Reverse poredak 18/22

Illustration of the kernel Kenel sadrži i bit reverse i radix 2 algoritam Illustration of the kernel 19/22

Implementation details Two input and two output streams These streams are of type: arrayType DFEType floatType = dfeFloat(8, 24); DFEArrayType<DFEVar> arrayType = new DFEArrayType<DFEVar>(floatType, n); Ratios Wnk aren’t calculated on Maxeler machine Parameters: N first_level last_level 20/22

Conclusion It’s show that proposed solution has expected performance and that it works correctly. Performance of the proposed solution is better than performance of any publicly available implementation of Fast Fourier Transform. To achieve these speedups it is needed to do consecutive calculations of Fast Fourier Transform 21/22

Thank you for attention Q/A Thank you for attention