1. Vzporedno računanje - pregled
osnovne definicije
preprosti primeri
modeli računalnikov
pospešitev (pohitritev) računanja
inženirski prijemi
več procesorjev
modeli vzporednega računanja
razvoj tehnologije in zmogljivosti
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

2. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Vzporedno računanje
Vzporeden računalnik + vzporeden program = vzporedno računanje
Vzporeden računalnik je sestavljen iz množice procesorjev, ki lahko sodelujejo pri rešitvi skupne naloge.
Vzporedni superračunalniki z stotinami ali tisoči procesorjev,
Mreže delovnih postaj,
Večprocesorske delovne postaje, and
Vgrajeni sistemi.
Vzporeden program je računalniška koda, ki jo lahko izvajamo na vzporednem računalniku.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

3. Uporabljeni izrazi - terminologija
V literaturi najdemo precej različnih izrazov za podobne principe.
Procesor, računalnik, vozlišče, CPU, itd.
Vzporedna – sočasna – porazdeljena izvedba,
Večprocesorski računalnik, (multi – computer, multi -processor, vzporeden računalnik, porazdeljen računalnik
Komunikacijski kanal – povezava (link)
Mi bomo uporabljali izraz vzporeden računalnik, če bo uporabljena komunikacija s sporočili in vzporeden procesor, če bo za komunikacijo uporabljen skupen (deljen) pomnilnik.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

4. Primer 1 - vzporedna aktivnost – pisanje seminarske naloge
Pri pisanju seminarske naloge je potrebno nekaj začetne komunikacije (1.faza), nič komunikacije med pisanjem (2.faza) – vsi, ki pišejo, so neodvisni, in nič komunikacije pri ocenjevanju (3. faza).
Končni rezultat bo v temu, da bo narejenih nekaj nalog sočasno, v času potrebnem za izvedbo ene naloge. Seveda bo potrebno še nekaj dodatnega časa za komunikacijo, ki ga v primeru pisanja ene naloge ne bi bilo.
1. faza
2. faza
3. faza
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

5. Primer 2 – veslanje osmerca s krmarjem
Komunikacija -> veslač-veslač
Sinhronizacija (časovna uskladitev) -> krmar – veslači
Sprotno popravljanje tempa in smeri -> krmar + veslači
Čoln se bo premikal hitreje, če bo posadka številčnejša, toda ne sorazmerno in samo do neke meje! Preveč ljudi bi lahko celo potopilo čoln.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

6. Osnovni problemi, ki jih moramo rešiti
Problem razdelitve dela in podatkov (dekompozicije),
Funkcionalne in podatkovne odvisnosti,
Časovna uskladitev, komunikacija,
Porazdelitev računanja med procesorje (partitioning),
Predstavitev rezultatov,
Ocena in meritve učinkovitosti in pospešitve.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

7. Področja uporabe vzporednega računanja
Računalniške simulacije kompleksnih sistemov, kot so napovedovanje vremena, klime, analiza mehanskih naprav, zgradb, analiza elektronskih vezji, itd.
Simulacije proizvodnih procesov, kemičnih reakcij, eksplozij,
Komercialne aplikacije za obdelavo velikega števila podatkov (slike, meritve, genetika).
Video serverji, real-time video,
Potrebe za hitrejše računalnike se porajajo zaradi vse večjega števila podatkov in zaradi zahtevnejšega računanja tako v na finančnem področju kot v znanosti, tehniki in drugod.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

8. Računanje + komunikacija
Čas izvajana = čas računanja + komunikacije + čakanja
Obstaja optimalno število procesorjev p za določeno velikost problema N,
Lahko povečamo zmogljivosti procesorjev (tehnologija),
Zmanjšamo komunikacijski čas (hitrejše linije, boljši algoritmi)
Skrajšamo čas čakanja (boljši algoritmi).
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

9. Računanje + komunikacija (nad.)
Graf aktivnosti procesorjev med izvajanjem vzporednega programa na osmih procesorjih. Vsak od procesorjev potrebuje nekaj časa za računanje, komunikacijo in čakanje.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

10. Prekrivanje računanja in komunikacije
Upoštevajmo, da se neko računanje izvaja v korakih, vedno z novimi podatki.
Nek proces, ki je poslal zahtevo za podatke drugemu procesu, čaka, da zahtevani podatki prispejo.
V nekaterih primerih je možno bistveno skrajšati čas izvajanja, s tako imenovanim pre-fetchingom, kar pomeni, da si podatke za izračun v prihodnji fazi zagotovimo vnaprej, še preden jih potrebujemo.
Omenjeni proces bo lahko sedaj izvajal računanje s podatki, ki si jih je zagotovil že v predhodnem koraku.
Dela komunikacije in računanja se bosta izvajala hkrati – prekrivajoč v času.
Če bomo uspešni v izvedbi prekrivanja, bo čas čakanja zmanjšan. Zmanjšana pa bo tudi vsota časov za komunikacijo in računanje.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

11. Komunikacijski čas - model
Če imamo dan graf T(L), kjer je T čas komunikacije, L pa dolžina sporočila, potem je nagib premice sorazmeren ceni-času, potrebni za prenos enote podatkov (besede) tw (1/tw je pasovna širina - bandwidth). T(0) = ts je čas, potreben, da se prenos začne (startup cost-time) Tcomm=ts+tw
Tak idealiziran primer komunikacije je uporaben v mnogo primerih, razen tedaj, ko bo v komunikacijskih kanalih prišlo do zasičenja (congestion) komunikacijskih linij. Tedaj dobimo nelinearne odzive.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

12. Komunikacijski čas - primer
Tsk1
System
Tsk2
Send Req.
Request
Acknowledgment
Transfer
Zahtevi za prenos podatkov sledi določen čas za servisiranje te zahteve s strani operacijskega sistema (ts), šele zatem pa se začnejo podatki zares prenašati (tw).
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

13. Komunikacijski čas (nad.)
Izmerjena pasovna širina na 100Mb/s FE (dva zaporedna poskusa in teoretska širina). - kratka sporočila imajo manjšo pasovno širino, zaradi časa ts. - Pri dolgih sporočilih pa se pasovna širina približuje teoretični vrednosti (11 MB/s).
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

14. Pohitritev in učinkovitost
Označimo čas izvajanja programa na enem procesorju s T1. Ta čas je enak času računanja.
Čas izvajanja istega vzporednega programa na p procesorjih, ki so enakomerno obremenjeni, pa naj bo Tp.
Tp sestavljajo verjetno skrajšan čas računanja, čas komunikacije in morda nekaj časa mirovanja.
Pohitritev (pospešitev) vzporednega programa S = T1/Tp > 1,
Učinkovitost vzporednega programa E = S/p < 1.
V najboljšem primeru je S=p and E=1, večinoma pa pohitritev narašča počasneje od p in zato učinkovitost pada.
Funkcija enake učinkovitosti (Iso-efficiency function) nam pove kako se mora količina komunikacije spreminjati (skalirati) v odvisnosti od p, da bi ostala E konstantna.
Algoritmi, ki imajo funkcijo enake učinkovitosti linearno O(P) bodo visoko skalabilni, kar pomeni, da se bo čas njihovega izvajanja močno manjšal s povečanim P.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

15. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Amdahl-ov zakon
Naj bo program Pr sestavljen iz zaporednega dela Sq (npr. branje podatkov iz diska), in vzporednega dela Pp, ki ga lahko paraleliziramo z idealno učinkovitostjo:
Pr = Sq + Pp.
Na enem procesorju naj traja izvajanje dela Sq 10% celotnega časa izvajanja, izvajanje dela Pp pa 90% celotnega časa izvajanja TPr.
Kakšna je lahko največja pohitritev, ki jo lahko dosežemo z poljubno velikim številom procesorjev P?
S = T1/Tp = (TSq+TPp) / (TSq + (TPp/P)] =
= 1 + (TPp/TSq) = 1 + (0.9/0.1) = 10
Tak program ni skalabilen in bi ga bilo potrebno napisati na boljši način!
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

16. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Ocena časa izvajanja
Celoten čas izvajanja za neko računsko domeno f(N) lahko ocenimo z analizo programa (računalniška orodja – performance tools) in štetjem računskih operacij s plavajočo vejico (floating point operations):
T_comp = t_FP*f(N)
Čas komunikacije je odvisen od števila sporočil na računski korak M(N,P) in od količine podatkov, ki jih je treba prenesti D(N,P). Jasno je, da sta obe količini odvisni tudi od števila procesorjev:
T_comm = P*M(N,P)*D(N,P)
Če je čas čakanja 0, ker so vsi procesorji enako obremenjeni, je čas celoten čas izvajanja vzporednega programa:
Tp = (T_comp + Tcomm) / P
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

17. Kako povečati zmogljivost računalnika?
S povečanjem vzporednosti podatkovnih poti v procesorju (vzporedna vodila, daljši registri, itd.)
Z uporabo več funkcionalnih enot in cevovodenja (pipelining),
Z uporabo vektorskih arhitektur, ki omogočajo več sočasnih operacij na podatkih predstavljenih z vektorji.
Z uporabo več računskih in pomnilniških enot,
S povečanjem sistemskega takta,
Z novimi tehnološkimi pristopi pri gradnji elektronskih vezji (nano-tehnologija, …),
???
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

18. Kako povečati zmogljivost računalnika?
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

19. Model enoprocesorskega računalnika (Von Neuman)
Kontrolna enota (CU) – bere in dekodira inštrukcije,
Procesna enota (PU) – izvaja inštrukcije,
CU + PU = CPU,
Pomnilniška enota (MU) (Random Access Memory (RAM) – hrani podatke in inštrukcije,
CPU bere inštrukcije in podatke iz MU in shranjuje rezultate v MU.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

20. Vzporednost v podatkih
Vzporedni biti  byti  besede  etc.
Registri, podatkovna vodila, naslovna vodila,
Aritmetične enote,
Pomnilniške lokacije.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

21. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Fizikalne omejitve
Svetloba hitrosti in elektromagnetnega polja:
v = 3*108 m/s,
f = 109 Hz = 1 GHz  T = 10-9 s = 1ns  Opravljena pot v času ene periode takta:
d = v*T= 3*108 [m/s] *10-9 [s] = 30 cm,
Pri 10 GHz je pot, ki jo opravi EM valovanje le 3cm,
d = 3 cm R1 R2
Takt
T = 0,1 ns
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

22. Tekoči trak - Cevovodenje - Pipelining
Predpostavimo, da za končanje neke zahtevne ponavljajoče naloge, npr. proizvodnja avtomobilov, potrebujemo čas T, če to nalogo izvaja ena oseba.
Vsi potrebni stroji so le delno izkoriščeni.
Če lahko nalogo razdelimo na k enako zahtevnih podnalog, potem lahko dela vzporedno k oseb, vsaka na svoji podnalogi.
Sedaj lahko večino časa vsi stroji delujejo in vseh k oseb je neprestano polno zaposlenih.
Prvi avto bo prišel iz proizvodne linije v času T (kot, da bi ga delala ena oseba), toda drugi avto bo končan že v času T+T/k, in za dokončanje tretjega bomo potrebovali leT/k dodatnega časa, itd.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

23. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Tekoči trak (nad.)
Čas T je potreben, da ena oseba konča nalogo.
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
1/5 naloge
Kaj bi se zgodilo, če bi imele podnaloge različno časovno zahtevnost?
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

24. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Večnitni procesorji
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

25. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Večjedrni procesorji
Fujitsu Intel (L1=32kB, L2=3MB, L3=16MB)
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

26. Povečanje števila procesorjev
Procesorji s skupnim (deljenim) pomnilnikom - Shared memory processors (SMP)
(število procesorjev je omejeno zaradi hitrosti dostopanja do skupnega pomnilnika, ki je uporabljen tudi za medsebojno komunikacijo in lahko postane ozko grlo).
Procesorji s porazdeljenim pomnilnikom ali
Procesorji, ki komunicirajo s sporočili – Message Passing Processors (MPP) = Massively PP, (Network Of Workstations (NOW), Clusters (COW), Constellations (clusters of SMP or MPP), GRIDs, CLOUDs
(potrebujemo komunikacijske kanale).
CACHE
CACHE
CACHE
CACHE
SHARED GLOBAL MEMORY
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

27. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Lastnosti SMP
Prednosti
Ne potrebujemo nobenega explicitnega mehanizma za medsebojno komunikacijo (vse je na voljo z obstoječo strojno in programsko opremo)
Porazdelitev podatkov ni potrebna in se z njo uporabnik ne ukvarja, saj so vsi podatki dostopni vsem procesorjem.
Enostavna in bolj kompaktna programska koda, ki ne vsebuje funkcij za komunikacijo s sporočili.
Slabosti
Medsebojne povezave procesorjev in njihove povezave do skupnega pomnilnika so ozko grlo. Dodatni problemi nastanejo zaradi neučinkovitosti vmesnih (cache) pomnilnikov.
Hitrost dostopa do pomnilnika (vodila) in pomnilnika samega mora biti čim višja
Praktično je število procesorjev omejeno na 10-20
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

28. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Lastnosti MPP
Prednosti
Pasovna širina komunikacije se veča avtomatično s številom procesorjev (vsak procesor doda vsaj en komunikacijski kanal)
Zelo hiter pomnilnik ni potreben
Vzporeden računalnik nima omejitve pri številu procesorjev
Slabosti
Globalna komunikacija (vsi-enemu) je mnogo počasnejša kot pri SMP, počasnejša je tudi sinhronizacija (oblika globalne komunikacije)
Uporabnik mora razporediti podatke med procesorje
Izmenjava podatkov med procesorji mora biti explicitno zapisana v vzporednem programu in izvedena s klici komunikacijskih funkcij
Zahtevnejša programska koda (resnična pohitritev << idealne pohitritve)
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

29. MIMD - računalniki
MIMD (Multiple Instruction (CPU) Multiple Data (MU) & interconnection network)
Bolj grobo zrnata vzporednost
Ta družina hitreje raste, posebej tista s statičnimi povezovalnimi mrežami.
Druga možnost je skupno vodilo – sodobni multicore sistemi,
Za večje število procesorjev pa NumaConnect – virtualno skupno vodilo, izvedeno preko hitrih stikal.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

30. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Povezovalne mreže
Linija a) Obroč: b)
2-D mreža a)
2-D torus b)
3-D mreža c)
Hiperkocka
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

31. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Povezovalne mreže
Število vozlišč: N = š x v =16
Število povezav na vozlišče k=4
Število vseh povezav: D = (N*k)/2 =32
Pasovna širina prereza: W = 8/tW
Največja razdalja med dvema vozliščema: 4
Povprečna razdalja: 2
Dimenzija d=4
Število vozlišč: N = 2d =16
Število povezav na vozlišče k=4=d
Število vseh povezav: D = d*N/2=32
Največja razdalja med dvema vozliščema: log_2 N = d=4
Povprečna razdalja: d/2 = 2
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

32. Računalniški skupek E6 – ninestein.ijs.si
Večjederna platforma
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13 32

33. Računalniški skupek E6 – ninestein.ijs.si
36 enakih računalnikov (4 jedrnih) + 1 za zunanjo povezavo
Bistvena razlika od komercialnih skupkov, ki so običajno povezani preko komunikacijskega stikala (imajo samo eno komunikacijsko povezavo), je v tem, da ima vsako vozlišče našega skupka 8 komunikacijskih povezav.
Gmed vozlišči lahko zgradimo različne povezovalne mreže:
2-D 4-mreža 6x6
2-D d-mreže
3-D kocka 3x3x3 (4x3x3)
5-D hiperkocka 2x2x2x2x2
fat tree
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

34. Računalniški skupek Vrana - KI
Vzporedni računalnik VRANA-7, ki je prikazan na sliki, tvori 64 dvoprocesorskih računalnikov AMD Athlon MP Povezani so s topologijo hierarhične hiperkocke, v kateri nastopajo tri vrste povezav: vodilo med dvema procesorjema, točkovna Gigabit Ethernet povezava med dvema računalnikoma ter skupno stikalo Gigabit Ethernet, preko katerega so povezani vsi računalniki.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

35. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Večjedrni DSP
Potrebna je vse večja zmogljivost s podatkovnimi tokovi >10Gb/s, ki jo omogoča večja zmogljivostjo ali večje število procesorjev, ali pa oboje.
Tudi na področju DSP procesorjev in FPGA namenskih procesorjev.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

36. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Večjedrni DSP
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

37. SIMD - računalniki
Porazdeljen pomnilnik SIMD (Single Instruction (CU) Multiple Data (MU);
Primerna za drobnozrnato vzporednost (npr. GPU bi lahko tudi deloma uvrstili v to skupino).
Vektorski računalniki so SIMD sistemi s skupnim pomnilnikom (intrinsic inštrukcije v sodobnih procesorjih).
Vse več je hibridnih sistemov (CPU, GPU, FPGA), ki se prilagajajo namenu uporabe.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

38. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Meritev zmogljivosti
Operacija s plavajočo vejico (Floating Point Operation -Flop) je aritmetična operacija na 64 bitnih podatkih, ki se običajno ne izvede samo v eni sistemski periodi.
Število FP operacij na sekundo (R): MFlop/s = 106, GFlop/s = 109, TFlop/s = 1012
Sistemski takt centralne procesne enote (CPU) (f): MHz = 106/s, GHz = 109/s
Pomnilnik (Cache, Bulk, Back-up): Mbit=Mb, Mbyte=MB, Mword=Mw).
Problem f(N) ima računsko zahtevnost reda O(g(N)), če obstaja taka pozitivna konstanta c, da je |f(N)|  c*|g(N)| Na primer, za (2/3)*N2+N operacij je računska zahtevnost reda O(N2), ker členi nižjega reda kot N2 postanejo nepomembni, če je N velik.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

39. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Rmax v obdobju
Tisoči
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

40. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Moore-ov zakon
Na prejšnjih grafih smo videli, da je zmogljivost računalnikov v preteklosti naraščala exponentno.
Moore-ov zakon pravi, da se računalniške zmogljivosti podvojijo vsakih 1.5 leta.
Iz R1=3*10-7 GFlops v 1945 na R2=2.8*105 GFlops v letu 2005 (faktor 0.9*1012 v 60 letih (t2-t1)).
(R2/R1)=2(t2-t1)/Td
R je zmogljivost, ti je izbrani čas,Td pa čas, v katerem se zmogljivosti podvojijo, to kar nas zanima; log2=0.3. Logaritmiramo gornjo enačbo in izračunamo Td:
Td=60*log(2)/log(9*1011 ) = 1.51 (dobro ujemanje velja še danes).
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

41. Zmogljivost računalnikov - cena
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

42. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Top10 from Top500 list June 2011
Rmax in Rpeak vrednosti so v TFlops. Power v KW.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

43. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13
Top10 from Top500 list June 2012
Rmax in Rpeak vrednosti so v TFlops. Power v KW.
Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

44. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

45. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

46. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

47. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

48. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

49. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

50. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13

51. Univerza v Ljubljani, FE "Vzporedni sistemi - VS" ZS-2012/13