1 Bab 9 Penilaian Pengguna

2 Objektif Menerangkan konsep dan istilah penting dalam penilaian Menerangkan paradigma dan teknik penilaian yang digunakan Membincangkan isu-isu konseptual, praktikal dan etika yang mesti dipertimbangkan Memperkenalkan rangkakerja DECIDE

3 Dua Jenis Penilaian Penilaian formatif – dilakukan pada tahap pembangunan yang bebeza untuk memastikan bahawa produk memenuhi kehendak pengguna Penilaian sumatif – menganggar / menjangka kualiti suatu produk yang telah dihasilkan Fokus adalah kepada penilaian formatif

4 Apa yang Dinilai Rekabentuk iteratif dan penilaian adalah suatu proses yang berterusan yang menguji: Ide awal untuk model konseptual Prototaip awal suatu sistem baru Prototaip-prototaip yang lebih lengkap kemudiannya Perekabentuk perlu menyemak samada mereka faham keperluan pengguna

5 Bila Dinilai Di sepanjang proses merekabentuk Bermula dari penerangan pertama, lakaran dll (mengenai kehendak pengguna ) sehinggalah ke produk akhir Rekabentuk melalui proses kitaran iteratif ‘rekabentuk-uji-rekabentuk semula’ Penilaian adalah elemen utama untuk menjamin rekabentuk yang berjaya

6 Paradigma Penilaian Setiap jenis penilaian dipandu secara eksplisit (tak tersirat) atau implisit (tersirat) oleh suatu set andaian atau ‘kepercayaan’, yang biasanya berdasarkan kepada teori tertentu. Andaian / ‘kepercayaan’ dan kaedah yang berkaitan dengannya inilah yang dikenali sebagai ‘paradigma penilaian’

7 Kajian Pengguna Kajian pengguna (user studies) melibatkan proses melihat bagaimana kelakuan manusia dalam persekitaran tabii mereka, atau di dalam makmal, samada menggunakan teknologi baru atau lama

8 Paradigma Penilaian Ada empat jenis paradigma penilaian ‘Cepat dan kotor’ (‘quick and dirty’) Ujian kebolehgunaan Kajian Lapangan (field studies) Penilaian ramalan (predictive evaluation)

9 ‘Cepat dan Kotor’ Penilaian ‘cepat dan kotor’ : amalan-amalan secara tidak formal yang biasa dilakukan oleh perekabentuk untuk mendapatkan maklumbalas daripada pengguna atau konsultan untuk memastikan yang ide mereka adalah selari dengan kehendak pengguna Penilaian ini boleh dilakukan pada bila-bila masa Penekanan adalah kepada input yang pantas untuk proses merekabentuk, dan bukan hasil yang didokumenkan dengan teliti

10 Ujian Kebolehgunaan Melibatkan proses merekodkan persembahan (performance) pengguna semasa melaksanakan tugas tipikal dalam persekitaran yang dikawal. Kajian lapangan juga boleh digunakan Kelakuan pengguna direkodkan & ‘key- press’ disimpan dalam log

11 Ujian Kebolehgunaan Data digunakan untuk mengira masa, kenalpasti kesilapan dan membantu menerangkan kenapa pengguna melakukan apa yang dilakukan Soalselidik kepuasan pengguna dan temubual digunakan untuk mendapatkan pandangan pengguna

12 Kajian Lapangan Kajian lapangan dilakukan dalam persekitaran tabii (natural settings) Matlamatnya untuk memahami apa yang biasa dilakukan oleh pengguna dan bagaimana teknologi memberi kesan kepada mereka

13 Kajian Lapangan Dalam merekabentuk produk, kajian lapangan boleh digunakan untuk: Mengenalpasti peluang suatu teknologi baru Menentukan keperluan rekabentuk Memutuskan bagaimana cara yang terbaik untuk memperkenalkan suatu teknologi baru Menilai teknologi yang sedia ada digunakan

14 Penilaian Ramalan Pakar menggunakan pengetahuan mereka tentang pengguna tipikal, yang selalunya dibantu oleh penilaian heuristik, untuk meramal masalah kebolehgunaan Pendekatan lain melibatkan model- model yang berasaskan teori tertentu

15 Penilaian Ramalan Kriteria utama penilaian ramalan adalah - pengguna tidak perlu hadir semasa penilaian dilakukan Lebih cepat dan murah berbanding kebanyakan paradigma lain

16 Teknik-teknik Penilaian Memerhatikan (observe) pengguna Mendapatkan pandangan pengguna Mendapatkan pandangan pakar Menguji persembahan (performance) pengguna Memodelkan persembahan pengguna mengikut tugas tertentu

17 Rangkakerja DECIDE Determine the goals the evaluation addresses Explore the specific questions to be answered Choose the evaluation paradigm and techniques to answer the questions Identify the practical issues Decide how to deal with the ethical issues Evaluate, interpret and present the data

18 D – Menentukan Matlamat Apakah matlamat penilaian Siapa yang mahukannya dan kenapa? Matlamat mempengaruhi paradigma yang digunakan Beberapa contoh matlamat: Kenalpasti metafora yang terbaik Menyemak samada antaramuka yang terhasil konsisten dengan yang dirancang Menyiasat bagaimana teknologi mempengaruhi amalan kerja Memperbaiki kebolehgunaan produk sedia ada

19 E – Explore Soalan Matlamat dan soalan menjadi panduan supaya masa tidak terbuang Contohnya, matlamat adalah untuk mengetahui berapa ramai pelanggan yang menggemari tiket kapalterbang biasa berbanding dengan e-tiket.

20 E – Explore Soalan Soalan boleh dipecahkan kepada: Apakah atitud pelanggan terhadap e-tiket? Adakah mereka prihatin terhadap isu keselamatan? Adakah antaramuka yang digunakan sekarang lemah?

21 C – Memilih paradigma dan teknik Paradigma penilaian mempunyai pengaruh yang kuat ke atas teknik yang digunakan, bagaimana data dianalisa dan dipersembahkan Contoh: kajian lapangan tidak melibatkan pengujian atau permodelan

22 I – Kenalpasti Isu Praktikal Sebagai contoh: bagaimana hendak : Memilih pengguna Stay on budget Staying on schedule Mencari penilai Memilih peralatan

23 D – Menentukan Isu Etika Membangunkan borang akuan pemberitahuan (informed consent form) Peserta / responden mempunyai hak untuk : Mengetahui matlamat kajian Mengetahui apa yang berlaku kepada hasil kajian Privacy dalam maklumat peribadi Not to be quoted without their agreement Menamatkan penilaian bila-bila masa yang disukai Dilayan dengan hormat dan sewajarnya

24 E – Menilai, menterjemah & Mempersembah data Bagaimana data dianalisa dan diterjemah bergantung kepada paradigma dan teknik yang digunakan Hal-hal berikut juga perlu dipertimbangkan: Reliability : bolehkah kajian yang sama diulang / direplika? Validity : Adakah ia mengukur apa yang dikehendaki? Biases : Adakah proses menyebabkan bias? Scope : Bolehkah hasil di’am’kan (generalised)? Ecological validity : adakah persekitaran mempengaruhi?

25 Kajian Awal (Pilot Studies) Suatu percubaan kecil tentang kajian Matlamat – untuk memastikan bahawa perancangan adalah sesuai Pilot Studies boleh memastikan bahawa: Prosedur yang dirancang boleh dilaksanakan Skrip temubual, soal-selidik, ujikaji, dll sesuai digunakan dan berfungsi dengan baik Boleh dilakukan beberapa kali untuk menyelesaikan masalah yang timbul Boleh gunakan rakan sekerja

26 Poin Penting Penilaian dan rekabentuk berkait rapat dalam Rekabentuk Berpusatkan Pengguna Paradigma penilaian adalah pendekatan yang dipengaruhi oleh teori dan falsafah tertentu Lima kategori teknik penilaian: pemerhatian pengguna, pandangan pakar, pengujian pengguna, dan permodelan pengguna

27 Poin Penting Rangkakerja DECIDE mempunyai 6 bahagian: D – Menentukan Matlamat E – Explore Soalan C – Memilih paradigma dan teknik I – Kenalpasti Isu Praktikal D – Memutuskan Isu Etika E – Menilai, menterjemah & Mempersembah data Lakukan pilot study