Measuring indeks Quality using Random Walks on the Web Disediakan oleh: Ang Pek Ling A97105 Beh Jin Hong A97110 Chung Yee Mun A97155 Emilee Tan Su-Chin A97158 Lau Woan Yun A97208

Pengenalan  Saiz, kuantiti dan kualiti adalah suatu ukuran yang penting bagi sesuatu enjin gelintar.  Enjin gelintar yang mengindekskan laman yang banyak perlu mencari metodologi yang sesuai untuk menempatkan laman tersebut.  Enjin gelintar yang mempunyai kualiti indeks yang tinggi akan memberi maklumat yang lebih relevan kepada pengguna akhir.  Enjin gelintar yang bersaiz kecil dengan kualiti indeks yang tinggi akan memastikan keperluan kueri pengguna dengan lengkap.

Random Walks  Bersifat Markovian.  Digunakan untuk menganggar kualiti indeks di mana setiap laman di laman mewakili satu situasi.  Tidak ada natural stopping point (tanpa henti).

'PageRank' Measure  Dikira berdasarkan nombor laman.  Suatu 'PageRank' untuk satu laman adalah tinggi jika ia boleh link ke banyak laman yang berpangkat tinggi.  Boleh digunakan sebagai panduan kepada crawler untuk mengindeks laman yang lebih penting.

Menganggar Kualiti Indeks (i) Persampelan Laman Menurut kepada 'PageRank'nya.  Pendekatan pertama : cari bahagian Web yang penting. cari bahagian Web yang penting. tentukan 'PageRank' untuk laman yang telah dicari dengan kaedah berulang. tentukan 'PageRank' untuk laman yang telah dicari dengan kaedah berulang.

 Masalah : i) ukuran pemberat yang diperolehi mungkin tidak benar-benar menjadi ukuran 'PageRank'. i) ukuran pemberat yang diperolehi mungkin tidak benar-benar menjadi ukuran 'PageRank'. ii) perlukan carian bahagian Web yang besar, simpan maklumat link yang berkaitan dan hitung nilai 'PageRank’. ii) perlukan carian bahagian Web yang besar, simpan maklumat link yang berkaitan dan hitung nilai 'PageRank’.

(ii) Pendekatan Persampelan  ‘Random walk’ dilaksanakan dengan pengagihan keseimbangan yang sepadan dengan ukuran ‘PageRank’.  ‘Walk’ lompat ke satu laman yang rawak dengan kebarangkalian d atau ikut satu link yang rawak dengan kebarangkalian 1- d.

 Dengan laksanakan ‘walk’ dalam suatu tempoh masa panjang yang sesuai,satu turutan sampel dijana.  Tidak perlu simpan bahagian graf Web yang besar.  kekalkan landasan laman web semasa ‘walk’ dan turutan sampel.

 Masalah laksanakan ‘random walk’ secara langsung : i) tiada kaedah diperkenalkan untuk memilih laman Web dengan seragam secara rawak. i) tiada kaedah diperkenalkan untuk memilih laman Web dengan seragam secara rawak.

 Penyelesaian :  ‘walk’ pilih satu ‘host’ dengan seragam secara rawak daripada set ‘hosts’ pada ‘walk’ begitu jauh.  Simulasi : tingkatkan penyebaran, kurangkan ‘bias’ terhadap ‘hosts’ dengan banyak laman yang saling bersambung.  Kekalkan landasan URL semua laman yang dilayari.

ii) tidak jelas berapa langkah dilaksanakan untuk mengalih ‘bias’ keadaan permulaan - anggar taburan keseimbangan. - anggar taburan keseimbangan.  Tindakan ‘random walk’ pada suatu sub- graf Web yang kecil cukup menangani ‘bias’ permulaan.  Oleh sebab laman sampel dihimpun berdasarkan ‘random walk’, carian kecil yang berkaitan cukup untuk pendekatan ‘random walk’.  Maka, andaian bahawa ‘bias’ adalah kecil,carian kecil akan berkesan

Our Random Walks  ‘Random Walks’ menggunakan Mercator.  Apabila suatu ‘walk’ lompat secara rawak ke satu laman yang rawak tanpa mengikut suatu link, ia memilih satu ‘host’ secara seragam.  Kemudian, ia memilih satu laman dalam ‘host’ secara seragam di semua laman dalam ‘host’ tersebut dimana semua ‘host’ dipilih secara rawak.

Ini adalah pseudo-code bagi ‘random walk’ algorithm The following variables are shared by all threads: HostSet, the set of host names discovered so far UrlSet(h), the set of URLs discovered so far that belong to host h Samples, a list of URLs representing a sample sequence Their initial values are: HostSet = { } UrlSet( = { } UrlSet(h) = {} for all other hosts h Samples = [ ] All threads execute the following algorithm in parallel: RandomReset: Choose a host h uniformly at random from HostSet. Choose a URL u uniformly at random from UrlSet(h). Download laman p referred to by u. Step: If p contains at least one link: Let h be the host component of u. If h is not in HostSet, add it. If u is not in UrlSet(h), add it. With probability c, add u to Samples. With probability d, go to RandomReset. Let U be the set of derelativized URLs contained in p. While U is non-empty: Choose and remove a URL u uniformly at random from U. Attempt to download laman p referred to by u, following HTTP redirects as necessary. If p could be downloaded and is an HTML document, go to Step. Go to RandomReset. Figure 1: Pseudo-code for the random walk algorithm.

 ‘Random walk’ boleh melayari banyak laman pada suatu masa.  Ini bermakna laman yang ber’PageRank’ tinggi akan sentiasa dilayari oleh pengguna.

Pengujian data dan analisis  Dalam melaksanakan ujian terhadap data dan analisi, keputusan yang didapati adalah berdasarkan ‘random walk’.  Keputusan dibahagi kepada dua iaitu: i) dapat menentusahkan ‘random walk’ yang bersifat kualiti. i) dapat menentusahkan ‘random walk’ yang bersifat kualiti. ii) membandingkan ukuran kualiti indeks enjin gelintar berdasarkan kepada persampelan daripada ‘random walks’. ii) membandingkan ukuran kualiti indeks enjin gelintar berdasarkan kepada persampelan daripada ‘random walks’.

Keberkesanan ‘Random Walk’ Table 1: Most frequently hit lamans on the random walks. lamanW2 Freq.W1 Freq. (Rank) ( 1) ( 3) ( 6) ( 4) ( 5) ( 7) ( 8) home.netscape.com/ (10) ( 9) ( 2) home.netscape.com/comprod/mirror/indeks.html (13) (11) search.microsoft.com/default.asp (15) (17) (18) (19) (16) (22) (20) (21)

Table 2: Most frequently hit hosts on the random walks. SiteW2 Freq.W1 Freq. (Rank) ( 1) home.netscape.com ( 2) ( 3) ( 4) (10) excite.netscape.com ( 9) ( 5) ( 6) ( 8) (12) ( 7) (16) (19) (14) members.aol.com (18) (13) (23) (22) (20) (21)

 Table 1 dan 2 menunjukkan kekerapan yang paling tinggi ‘lamans’ dan ‘hosts’ yang dilayari.  W 2 – frekuensi bagi ‘second longer walk’.  W 1 – frekuensi bagi ‘first walk’.  ‘Random walk’ berhubung dengan ‘lamans’ dan ‘hosts’ yang mempunyai hubungan yang tinggi dalam web.  ‘Random walk’ lebih menitikberatkan dalam ‘lamans’ dan ‘hosts’ dimana mempunyai hubungan rangkaian yang lebih kerap.

Membandingkan indeks Enjin Gelintar Kita menggunakan kueri yang kuat untuk menentukan sama ada enjin tersebut mempunyai ‘laman’ yang diberi. Kita menggunakan kueri yang kuat untuk menentukan sama ada enjin tersebut mempunyai ‘laman’ yang diberi. Untuk memadankan URL dengan hasil daripada enjin gelintar, kita gunakan 3 ‘matching’ kriteria : Untuk memadankan URL dengan hasil daripada enjin gelintar, kita gunakan 3 ‘matching’ kriteria : i) Exact : satu ‘match’ adalah betul jika enjin gelintar memulangkan URL dalam keadaan yang normal dan sepadan dengan sasaran URL. i) Exact : satu ‘match’ adalah betul jika enjin gelintar memulangkan URL dalam keadaan yang normal dan sepadan dengan sasaran URL.

ii) Host : ‘host match’ akan terjadi jika ‘laman’ dengan ‘host’ yang sama apabila sasaran URL pulang. iii) Non-zero : ‘non-zero’ match terjadi jika enjin gelintar memulangkan mana-mana ‘laman’ sebagai hasil kueri yang kuat.

Terdapat perbezaan di antara 3 ‘matching’ kriteria. Terdapat perbezaan di antara 3 ‘matching’ kriteria. ‘Non-zero match’ akan membatasi taksiran yang kita anggarkan berbanding dengan ‘host match’ dan ‘exact match’ lebih tepat. ‘Non-zero match’ akan membatasi taksiran yang kita anggarkan berbanding dengan ‘host match’ dan ‘exact match’ lebih tepat. SearchExactHostNon-zeroEst. Size EngineW1W2W1W2W1W2(mill. lamans) AltaVista HotBot Excite Infoseek Google Lycos

Figure 2: the quality scores for various search engine indekses,scaled,in the case of exact matches

Figure 3 : the average laman quality for various search engine indekses,scaled,in the case of exact matches

kesimpulan Kualiti indeks enjin gelintar. Kualiti indeks enjin gelintar. Kaedah pengukuran berdasarkan ‘PageRank’. Kaedah pengukuran berdasarkan ‘PageRank’. Kaedah untuk menganggarkan indeks enjin gelintar dengan menggunakan ‘random walk’. Kaedah untuk menganggarkan indeks enjin gelintar dengan menggunakan ‘random walk’. ‘Random walk’ bersifat kualiti. ‘Random walk’ bersifat kualiti.