1. Penilaian Capaian & Maklumbalas Berkaitan
Pengenalan
Kejituan dan Dapatan Semula
(Recall dan precision)
Singular Value Measure
Fallout
Penggunaan Titik Potong

2. Penilaian Capaian
Keberkesanan capaian diukur dari kebolehan sesuatu sistem memenuhi kepuasan pengguna dari segi capaian dokumen yang berkaitan (van Rajsbergen 1979)
Kebanyakan sistem dinilai pada asas :
masa : berapa lama masa tindakbalas ke atas kueri
ruang : berapa banyak storan diperlukan untuk struktur indeks
prestasi capaian : bagaimana baiknya sesuatu jawapan yang diberikan.

3. Penilaian Capaian
Enam pengukuran bagi menentukan kuantiti capaian (reflect the ability of the system to satisfy the user) (Cleverdon 1966)
Koleksi yang menyeluruh : meliputi semua yang terdapat pada sistem yang mengandungi perkara yang berkaitan
Perbezaan masa : purata jarak masa antara permintaan untuk carian dengan masa jawapan yang diberi
Bentuk output yang dipersembahan
Usaha yang terlibat pada pengguna bagi mendapatkan jawapan dari permintaan capaian
sistem ‘recall’ : nisbah bahan yang berkaitan yang dicapai berhubung dengan jawapan kepada permintaan capaian
Ketepatan sistem (precision) : nisbah bahan yang dicapai dan ianya berkaitan

4. Penilaian Capaian
Koleksi pengujian penting dalam penyelidikan capaian maklumat kerana eksperimen perlu dijalankan.
Koleksi pengujian memerlukan sekurang-kurangnya tiga espek
Koleksi dokumen
Set perkataan pertanyaan
Keputusan berkaitan antara dokumen dan perkataan pertanyaan yang dijana.

5. Penilaian Capaian Katakan Q kueri
Kata A sebagai set dokumen yang dicapai oleh sistem (jawapan sebenar)
Kata R sebagai set dokumen berkaitan kepada kueri (jawapan ideal )
Precision : nisbah item yang dicapai yang berkaitan
Precision = capaian yang berkaitan / jumlah capaian
Recall : nisbah item yang berkaitan yang dicapai
Recall = capaian yang berkaitan / capaian berkaitan yang ujud

6. Penilaian Capaian Terdapat 4 kes Jawapan dan berkaitan tidak sama
A  R = 
Recall = precision = 0
jawapan
berkaitan
jawapan
Berkaitan terdapat pada jawapan
R  A
Recall = 1
berkaitan

7. Penilaian Capaian Jawapan mengandungi yang berkaitan A  R
Precision = 1
berkaitan
jawapan
Jawapan dan berkaitan saling bertindan
A = R
Recall = Precision = 1
berkaitan
jawapan

8. Penilaian Capaian
Salton dan McGill, 1983 mendefinasikan recall dan precision :
Recall = bilangan item yang dicapai dan berkaitan
Precision = bilangan item yang dicapai dan berkaitan
Jumlah yang berkaitan dalam koleksi
Jumlah yang dicapai dalam koleksi
Precision
The ability to retrieve top-ranked documents that are mostly relevant.
Recall
The ability of the search to find all of the relevant items in the corpus.
Entire document collection
Relevant documents
Retrieved documents

9. Perkaitan antara Recall dan Precision
Presicion dan recall akan memberi kesan di antara satu dengan yang lain pada arah yang berbeza
Semakin luas kueri atau peningkatan bilangan dokumen yang dikembalikan akan meningkatkan recall tetapi akan mengurangkan (rendah) precision
Pembentukan semula formula pemberat selalunya akan menjadikan satu parameter semakin baik tetapi akan menyebabkan lainnya semakin teruk
Results are mostly relevant but miss many relevant ones
The ideal 1
recall
precision
Return most of the
Relevant documents
but include many junks

10. Pengiraan bagi Recall dan Precision
Jumlah bilangan dokumen
yang berkaitan = 5
R=1/5=0.2; p=1/1=1
R=2/5=0.4; p=2/2=1
R=2/5=0.4; p=2/3=0.67
R=5/5=1; p=5/13=0.38

11. Pengiraan bagi Recall dan Precision
0.4
0.8
1.0
0.6
0.2 1 2 3 4 5 6 7 12 13
200
recall
precision

12. MAKLUMBALAS BERKAITAN

13. User’s information need Document representation
Model Capaian Dokumen
Query formulation
User’s information need
Formal language
Document representation
Documents
Indexing
retrieval
Relevance Feedback
Retrieved
documents

14. Maklumbalas Berkaitan
Susah untuk memformulasikan semula kueri manual
Pengguna tidak tahu untuk apa yang menyebabkan sesuatu dokumen itu berkaitan tanpa menilai hasil secara detail dan memahami kaedah yang digunakan dalam capaian
Ciri-ciri dokumen tidak mudah untuk dijana ke dalam bentuk formulasi kueri yang tepat
Pengguna tidak mahu untuk melakukannya walaupun kadang-kadang mereka tahu bagaimana untuk melakukannya.
Maklumbalas berkaitan – secara automatik menjana satu formula baru untuk kueri berdasarkan capaian berkaitan semasa pengguna melakukan operasi gelintar.

15. Maklumbalas Implicit versus Explicit
Pengguna secara explicit mengenalpasti dokumen mana yang berkaitan dan tidak berkaitan.
Implicit:
Sistem menyediakan maklumat tambahan bagi membantu pengguna untuk menjurus kepada hasil yang diperlukan
Google and Altavista: hiperteks “similar pages” atau “related pages” yang dihubungkan pada setiap dokumen yang dicapai
Vivisimo, wisenut, taeoma: mewakilkan katakunci tertentu yang berkaitan dan sekumpulan dokumen bagi pengguna untuk dipilih.

16. Proses Pengubahsuaian Kueri
Retrieval
Process F G
Original
query Q
Ranked
output
Rel. & nonrel.
documents
Reformulated
query Q’
Relevancy
judgement
F: menerima penilaian berkaitan dari pengguna dan menghasilkan satu set output yang menunjukkan dokumen yang berkaitan dan yang tidak berkaitan
G: mengimplementasi formula maklumbalas (menulis semula kueri yang asal

17. Ide Proses Pengubahsuaian Kueri
Terma yang ujud pada dokumen yang berkaitan akan ditambah ke dalam vektor kueri yang asal atau pada pemberat bagi menjana pernyataan kueri yang baru.
Terma yang ujud pada dokumen yang tidak berkaitan akan dihapuskan dari pernyataan kueri yang asal atau pada pemberat.

18. Pengubahsuaian Kueri
Pengubahsuaian boleh dilakukan dengan mengenalpasti dokumen yang berkaitan dan yang tidak berkaitan iaitu set DR’ dan DN’ dan yang dijangka DR dan DN, dan dilakukan proses pengubahsuaian kueri secara berulang sehingga mencapai optima.
Bermula dengan kueri mula dalam bentuk
Dimana Q merupakan kueri asal dan , , dan  merupakan nilai pemalar yang sesuai

19. Contoh Q: original query D1: relevant doc. D2: nonrelevant doc.
 = 1,  = 1/2,  = 1/4
Assume:
T1 T2 T3 T4 T5
Q = ( 5, 0, 3, 0, 1)
D1 = ( 2, 1, 2, 0, 0)
D2 = ( 1, 0, 0, 0, 2)
S(Q,D1) = (52)+(0  1)+(3  2)+(0  0)+(1  0) = 16
S(Q’D1)=(5.75  2)+(0.5  1)+(4  2)+(0  0)+(0.5  0) = 20
S(Q,D2) = (51)+(0  0)+(3  0)+(0  0)+(1  2) = 7
S(Q’D2)=(5.75  1)+(0.5  0)+(4  0)+(0  0)+(0.5  2) = 6.75