1. Programmatūras paštestēšana
Šis darbs izstrādāts ar Eiropas Sociālā fonda atbalstu projektā «Atbalsts doktora studijām Latvijas Universitātē».
Programmatūras paštestēšana
Autors: Edgars Diebelis
Vadītājs: Dr. sc. comp. Jānis Bičevskis

2. Paštestēšana
Spēja automātiski izpildīt iepriekš sagatavotus testus savas darba spējas pārbaudei.
Testēšanas pieejas
Manuāla testēšana;
Testēšana izmantojot atbalsta rīkus;
Paštestēšana.

3. Saturs Problēmas nostādne. Paštestēšanas koncepcija.
Paštestēšanas implementācija.
Tradicionālo testēšanas rīku salīdzinājums ar paštestēšanu.
Paštestēšanas efektivitātes mērījumi.
Secinājumi.

4. Problēmas nostādne
„skaitļošanas sistēmu sarežģītība tiecas uz cilvēka iespēju robežām”
(Kephart, J., O., Chess, D., M.).
2001. gadā IBM autonomiskās skaitļošanas manifests
Tiek piedāvātas četras galvenās īpašības, kas raksturo autonomisko skaitļošanu.
2007. gadā viedtehnoloģijas pieeja
Identificēti septiņi viedtehnoloģiju veidi;
Paštestēšana kā viedtehnoloģijas sastāvdaļa.

5. Paštestēšanas koncepcija

6. Paštestēšanas funkcionalitāte
Paštestēšana ietver divus komponentus:
Sistēmas kritiskās funkcionalitātes testa piemēri;
Programmā iebūvēts automātiskās testēšanas mehānisms.

7. Rezultātu testa punktu XML fails
Testu uzkrāšanas režīms
Rezultātu testa punktu XML fails 1. 2. 3.

8. Etalona testa punktu XML fails Rezultātu testa punktu XML fails
Testu izpildīšanas režīms
Etalona testa punktu XML fails
Paštestēšanas rīks
Rezultātu testa punktu XML fails 1. 2. 4. 6. 3. 5.

9. Testa punkti
Testa punkts ir programmēšanas valodas komanda programmas tekstā, pie kuras tiek izpildītas testēšanas darbības.
Testa punkts nodrošina:
konkrētu darbību un lauku vērtību saglabāšanu;
programmas izpildes rezultāta piereģistrēšanu pie testu atkārtotas izpildes.
Izmantojot testa punktus, iespējams atkārot sistēmas notikumu izpildi.

10. Testa punkti Testa punktu veidi: ievadlauka testa punkti;
salīdzināmās vērtības testa punkti;
sistēmas paziņojuma testa punkti;
SQL vaicājuma rezultāta testa punkti;
lietojumprogrammas notikuma testa punkti;
testa izpildes kritērija testa punkti;
paštestēšanas testa punkti;
u.c. 10 10

11. Paštestēšanas implementācija

12. Paštestēšanas uzbūve Paštestēšanas programmatūras sastāv no:
Paštestēšanas moduļa;
paštestēšanas testu pārvaldes moduļa. 12 12

13. Paštestēšana darbībā

15. Tradicionālo testēšanas rīku salīdzinājums ar paštestēšanu

16. Testēšanas rīku izvēle
“ATI Automation Honors ” balvas laureāti.
Pasniedz uzņēmums “Automated Testing Institute”.
Kopš gada izdod žurnālu “Automated Software Testing”.
Uztur tīmekļa vietni, kurā uzskaitīti un īsi aprakstīti 716 automatizēti testēšanas rīki.
Katru gadu organizē automatizētas testēšanas konferenci “Verify/ATI”.

17. Testēšanas rīki TestComplete FitNesse Ranorex T-Plan Robot
2010. gada labākais komerciālais automatizētas funkcionālās testēšanas rīks
FitNesse
2010. gada labākais atklātā pirmkoda automatizētas funkcionālās testēšanas rīks apakškategorijā .NET
Ranorex
2010. gada labākais komerciālais automatizētas funkcionālās testēšanas rīks apakškategorijās .NET un Flash/Flex
T-Plan Robot
2010. gada labākais atklātā pirmkoda automatizētas funkcionālās testēšanas rīks apakškategorijā Java
Rational Functional Tester
2009. un gadā finālists starp labākajiem komerciālajiem automatizētas funkcionālās un veiktspējas testēšanas rīkiem
HP Unified Functional Testing Software
2009. gada labākais komerciālais automatizētas funkcionālās testēšanas rīks
Selenium
2009. un gada labākais atklātā pirmkoda automatizētas funkcionālās testēšanas rīks

18. Salīdzināšanas kritēriji
Testēšanas metode (TM)
Testu automatizēšanas pieeja (TAP)
Testu automatizēšanas ietvars (TAI)
Testēšanas stratēģija
Testu ierakstīšana un atspēlēšana
Darbvirsmas lietojumprogrammu testēšana
Tīmekļa lietojumprogrammu testēšana
Servisu testēšana
Datu bāzes testēšana
Testēšana produkcijas vidē
Sistēmas lietotājs var veidot testus
Vienlaicīga vairāku testu izpilde
Paralēlu darbību veikšana
Testējamā objekta noteikšana
Testa rezultātu analīze
Testu rediģēšana
Ekrāna attēli
Kontrolpunkti
Objektu validēšana
Objektu pārlūks
Testu žurnāls (log)
Testu izpildes laiku plānotājs
Komandas izpildes beigu noteikšana
Spraudņi un paplašinājumi
u. c.

19. Salīdzinājums

20. Salīdzinājums II 20 20

21. Paštestēšanas attīstība
Jauni testu automatizēšanas ietvari.
Testu redaktors un žurnāls.
Objektu pārlūks un objektu validēšana.
Slodzes, stresa u.c. testēšanas līmeņi.
Tīmekļa lietojumprogrammu un servisu testēšana.
Papildus platformas.
Spraudņi un paplašinājumi.

22. Paštestēšanas priekšrocības
Testēšana pēc baltās kastes metodes.
Testēšana produkcijas vidē.
Testu veidošana bez padziļinātām IT zināšanām.
Ārējo saskarņu testēšana.
Rīka vienkāršība.

23. Paštestēšanas efektivitātes mērījumi

24. Efektivitātes mērījumi
Mērījumi veikti, balstoties uz esošas sistēmas kļūdas pieteikumiem.
Mērījumus nebūtu iespējams veikt, iestrādājot paštestēšanas pieeju pašā sistēmā.
Mērījumi veikti analizējot Valūtas un vērtspapīru uzskaites sistēmas kļūdas pieteikumus laika periodā no līdz
Kopējais kļūdu pieteikumu skaits: 1171.
Subjektīvs viedoklis, tomēr apjomīgais incidentu ziņojumu skaits, statistika atspoguļo tendences. 24 24

25. Sadalījums pēc pieteikumu veida
Pieteikuma veids
Skaits
% no kopējā
Stundas
Dublikāts 68
5.81
23.16
0.47
Lietotāju kļūda 43
3.67
67.46
1.37
Kļūda – nenovēršama
178
15.2
20.52
Kļūda – novēršama
736
62.85
66.79
Uzlabojums
102
8.71
241.36
4.89
Konsultācija 44
3.76
293.92
5.96
Kopā:
1171
100
4931.6 25 25

26. Neidentificējamās kļūdas
Kļūdas veids
Skaits
% no kopējā
Ārējā saskarnes kļūda 5
2.81
Datoru konfigurācijas kļūda 12
6.74
Datu tipu kļūda 7
3.93
Lietotāja saskarnes kļūdas 25
14.04
Lietotāju paralēlo darbību kļūda
Prasību interpretācijas kļūda 41
23.03
Specifisks gadījums 83
46.63
Kopā:
178
100 26 26

27. Identificējamās kļūdas
Testa punkts
Skaits
% no kopējā
Stundas
Faila rezultāta testa punkts 59
8.02
150.03
4.56
Ievadlauka testa punkts
146
19.84
827.14
25.11
Lietojumprogrammas notikuma testa punkts
105
14.27
364.24
11.06
Salīdzināmās vērtības testa punkts 28
3.8
93.53
2.84
Sistēmas paziņojuma testa punkts 11
1.49
58.84
1.79
SQL vaicājuma rezultāta testa punkts
387
52.58
54.65
Kopā:
736
100 27 27

28. Secinājumi

29. Secinājumi
Paštestēšanas piedāvātās iespējas līdzvērtīgas citu pasaulē atzītu testēšanas rīku iespējām. Turklāt piedāvā iespējas, ko citi testēšanas rīki nepiedāvā:
ārējo saskarņu testēšana;
testēšanu produkcijas vidē;
testēšanu pēc baltās kastes metodes;
lietotājiem bez padziļinātām IT zināšanām veikt testu uzkrāšanu.
Testēšanas atbalsts ir izstrādājamo programmu sastāvdaļa un testēšanas atbalsts ir pieejams visā programmu dzīves cikla laikā.

30. Secinājumi II
Paštestēšana maina testēšanas procesu, paplašinot programmētāja lomu programmatūras testēšanā.
Paštestēšana prasa papildus darbu paštestēšanas funkcionalitātes iekļaušanai programmatūrā un kritiskās funkcionalitātes testu izstrādei.
Paštestēšana ietaupa esošās funkcionalitātes atkārtotas (regresa) testēšanas laiku.
Paštestēšanas funkcionalitātes ieviešana ir noderīga inkrementālos sistēmu izstrādes modeļos, īpaši sistēmām, kuras tiek attīstītas pakāpeniski un uzturētas daudzu gadu garumā.

31. Publikācijas
Diebelis, E., Takeris, V., Bičevskis, J. Self-testing - new approach to software quality assurance. In: Proceedings of the 13th East-European Conference on Advances in Databases and Information Systems, ADBIS 2009, September 7- 10, 2009, Riga, Latvia (Grundspenkis, J., Kirikova, M., Manolopoulos, Y., Morzy, T., Novickis, L., Vossen, G., eds.), pp.62-77
Diebelis, E., Bičevskis, J. An Implementation of Self-Testing. In: Proceedings of the 9th International Baltic Conference on Databases and Information Systems, Baltic DB&IS 2010, July 5-7, 2010, Riga, Latvia (Barzdins, J., Kirikova, M., eds.), pp
Diebelis, E., Bičevskis, J. Test Points in Self-Testing. In: Databases and Information Systems VI - Selected papers from 9th International Baltic Conference, DB&IS 2010 (Barzdins, J., Kirikova, M., eds.), IOS Press, vol. 224, pp.309 – 321 31 31

32. Publikācijas
Diebelis, E., Bičevskis, J. Software Self-Testing. In: Proceedings of the 10th International Baltic Conference on Databases and Information Systems, Baltic DB&IS 2012, July 8-11, 2012, Vilnius, Lithuania. (pieņemta publicēšanai)
Diebelis, E. Efficiency Measurements of Self-Testing. In: Scientific Papers University of Latvia. Computer Science and Information Technologies.
Vizulis, V., Diebelis, E. Self-Testing Approach and Testing Tools. In: Scientific Papers University of Latvia. Computer Science and Information Technologies 32 32

33. Paldies par uzmanību