1. جستجو در وب عميق ارائه‌دهنده: حسين شريفي‌پناه
استاد راهنما: دكتر علي موقر
گزارش درس سمينار
دانشكده‌ي مهندسي كامپيوتر
دانشگاه صنعتي شريف
زمستان 1385

2. فهرست مقدمه آناتومي پيشنهادي براي موتور جستجوي وب عميق مرزهاي پروژه
نحوه‌ي ارزيابي
چشم‌انداز آينده
زمان‌بندي
جستجو در وب عميق
زمستان 1385

3. مقدمه اهميت موتور‌هاي جستجو افزايش نرخ شكست در جستجو‌ها
چرا؟
كشف موجوديت جديد در وب
وب عميق
وب عميق = وب مخفي = وب غيرقابل‌شاخص‌گذاري
جستجو در وب عميق
زمستان 1385

4. مقدمه (ادامه) اندازه‌ي وب عميق : 400 تا 550 برابر وب سطحي !
مقايسه‌ي اندازه و كيفيت وب عميق با وب سطحي
سهم موتورهاي جستجوي بزرگ در حل اين مشكل:
گوگل: 03/0 %
هزينه‌هاي سرسام‌آور تحميلي بر سايت‌هاي عميق
راه‌حل چيست؟
جستجو در وب عميق
زمستان 1385

5. راه حل !! موتور جستجوي وب عميق موتور جستجوي وب سطحي جستجو در وب عميق
زمستان 1385

6. آناتومي پيشنهادي براي موتور جستجوي وب عميق
جستجو در وب عميق
زمستان 1385

7. 1-بازيابي صفحات وب عميق
يك صفحه‌ي P پويا گفته مي‌شود اگر بعضي يا تمام محتواي آن در زمان اجرا (زمان بعد از دريافت درخواست صفحه در خدمتگذار) توسط برنامه‌اي بر روي خدمتگذار يا مشتري توليد شود.
تشخيص فرم‌ها
تشخيص اسكريپت‌ها
جستجو در وب عميق
زمستان 1385

8. 2-تشخيص فيلد‌هاي فرم كار بسيار دشواري است!
اكثر تكنيك‌ها براساس روش‌هاي مكاشفه‌اي است.
خوشبختانه، در اكثر فرم‌ها از عناصر يكساني استفاده شده است.
جستجو در وب عميق
زمستان 1385

9. 3-تكميل خودكار فيلدها
انتصاب مقدار مناسب به فيلد‌هاي استخراج شده براي كشف محتويات داخل داده‌پايگاه
تكنيك اول:
استفاده از پرس‌و‌جوهاي از پيش تعيين شده
تكنيك دوم:
استفاده از مقادير موجود در فيلدها بصورت جايگشتي
تكنيك سوم:
آموزش خزشگر با استفاده از پالايش صفحه‌ي جستجو
جستجو در وب عميق
زمستان 1385

10. 3-تكميل خودكار فيلدها - ادامه
تكنيك چهارم:
استفاده از تكنيك‌هاي يادگيري ماشين
تكنيك پنجم:
تبديل مسأله‌ي پيدا كردن بهترين پرس‌و‌جو براي يك داده پايگاه به مسأله‌ي پوشش مجموعه در گراف‌ها
تبديل به مسأله‌ي مجموعه‌ي غالب وزن‌دار كمينه
تكنيك ششم:
كار با اسكريپت‌هاي سمت مشتري
جستجو در وب عميق
زمستان 1385

11. 4-آناليز نتايج دريافتي از داده‌پايگاه‌ها
دلايل:
بدست آوردن كلمات كليدي جديد
تخمين تعداد مستندات داده‌پايگاه در يك زمينه‌ي خاص
جستجو در وب عميق
زمستان 1385

12. 5-دسته‌بندي يا خوشه‌بندي داده‌پايگاه‌ها
دسته‌بندي يا خوشه‌بندي؟
روش‌هاي مختلف دسته‌بندي:
دسته‌بندي مبتني بر پرس‌و‌جو
دسته‌بندي مبتني بر خزش
دسته‌بندي با استفاده از توصيفات كلاس سرويس
جستجو در وب عميق
زمستان 1385

13. مرزهاي پروژه
جستجو در وب عميق
زمستان 1385

14. نحوه‌ي ارزيابي معرفي معيارهاي ارزيابي:
پوشش
ميزان ارتباط
كارآمدي ارسال فرم
مقايسه‌ي دسته‌بندي بدست آمده با دسته‌بندي‌هاي موجود
جستجو در وب عميق
زمستان 1385

15. چشم‌انداز آينده ارائه‌ي يك مدل براي داده‌پايگاه‌ها
حل مسأله‌ي پيدا كردن پرس‌وجوهاي بهينه
استفاده از تكنيك‌هاي دسته‌بندي فازي
بدليل:
عدم قطعيت در دسته‌بندي
همپوشاني داده‌پايگاه‌ها
مانند: C-Means
جستجو در وب عميق
زمستان 1385

16. زمان‌بندي نام فعاليت زمان لازم
تمركز برروي حوزه‌هاي پروژه و تكميل مطالعات
1 ماه
تهيه‌ي مقاله (كنفرانس داخلي)
طراحي الگوريتم‌هاي لازم
2 ماه
پياده‌سازي الگوريتم‌ها
ارزيابي كارايي
تهيه‌ي مستندات پايان‌نامه
جستجو در وب عميق
زمستان 1385

17. نتيجه‌گيري
عدم كارايي موتورهاي جستجوي سنتي در برخورد با دنياي وب امروزي
نياز به تحولات جديد
لزوم ظهور يك موتور جستجوي وب عميق براي دستيابي به دريايي از داده‌هاي با كيفيت
جستجو در وب عميق
زمستان 1385

18. مراجع
The Deep Web: Surfacing Hidden Value. December See
Zhang, Z., He, B., and Chang, K. C Understanding Web query interfaces: best-effort parsing with hidden syntax. In Proceedings of the 2004 ACM SIGMOD international Conference on Management of Data.
Ntoulas, A., Zerfos, P., and Cho, J. Downloading textual hidden web content through keyword queries. In Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 2005.
Ping Wu, Ji-Rong Wen, Huan Liu, Wei-Ying Ma, Query Selection Techniques for Efficient Crawling of Structured Web Sources, icde, p. 47,  22nd International Conference on Data Engineering (ICDE'06), 2006.
R. Krishnapuram, A. Joshi, O. Nasraoui, and L. Yi, Low complexity fuzzy relational clustering algorithms for web mining, IEEE Transactions on Fuzzy Systems, vol. 9, pp , 2001.
W. Pedryez, Conditional fuzzy c-means, Pattern Recognition Letters, Vol. 17, pp , 1996.
جستجو در وب عميق
زمستان 1385

19. سپاس‌گذاري
از توجه شما متشكرم!
جستجو در وب عميق
زمستان 1385

20. جستجو در وب عميق
زمستان 1385