جستجو در وب عميق ارائهدهنده: حسين شريفيپناه استاد راهنما: دكتر علي موقر گزارش درس سمينار دانشكدهي مهندسي كامپيوتر دانشگاه صنعتي شريف زمستان 1385
فهرست مقدمه آناتومي پيشنهادي براي موتور جستجوي وب عميق مرزهاي پروژه نحوهي ارزيابي چشمانداز آينده زمانبندي جستجو در وب عميق زمستان 1385
مقدمه اهميت موتورهاي جستجو افزايش نرخ شكست در جستجوها چرا؟ كشف موجوديت جديد در وب وب عميق وب عميق = وب مخفي = وب غيرقابلشاخصگذاري جستجو در وب عميق زمستان 1385
مقدمه (ادامه) اندازهي وب عميق : 400 تا 550 برابر وب سطحي ! مقايسهي اندازه و كيفيت وب عميق با وب سطحي سهم موتورهاي جستجوي بزرگ در حل اين مشكل: گوگل: 03/0 % هزينههاي سرسامآور تحميلي بر سايتهاي عميق راهحل چيست؟ جستجو در وب عميق زمستان 1385
راه حل !! موتور جستجوي وب عميق موتور جستجوي وب سطحي جستجو در وب عميق زمستان 1385
آناتومي پيشنهادي براي موتور جستجوي وب عميق جستجو در وب عميق زمستان 1385
1-بازيابي صفحات وب عميق يك صفحهي P پويا گفته ميشود اگر بعضي يا تمام محتواي آن در زمان اجرا (زمان بعد از دريافت درخواست صفحه در خدمتگذار) توسط برنامهاي بر روي خدمتگذار يا مشتري توليد شود. تشخيص فرمها تشخيص اسكريپتها جستجو در وب عميق زمستان 1385
2-تشخيص فيلدهاي فرم كار بسيار دشواري است! اكثر تكنيكها براساس روشهاي مكاشفهاي است. خوشبختانه، در اكثر فرمها از عناصر يكساني استفاده شده است. جستجو در وب عميق زمستان 1385
3-تكميل خودكار فيلدها انتصاب مقدار مناسب به فيلدهاي استخراج شده براي كشف محتويات داخل دادهپايگاه تكنيك اول: استفاده از پرسوجوهاي از پيش تعيين شده تكنيك دوم: استفاده از مقادير موجود در فيلدها بصورت جايگشتي تكنيك سوم: آموزش خزشگر با استفاده از پالايش صفحهي جستجو جستجو در وب عميق زمستان 1385
3-تكميل خودكار فيلدها - ادامه تكنيك چهارم: استفاده از تكنيكهاي يادگيري ماشين تكنيك پنجم: تبديل مسألهي پيدا كردن بهترين پرسوجو براي يك داده پايگاه به مسألهي پوشش مجموعه در گرافها تبديل به مسألهي مجموعهي غالب وزندار كمينه تكنيك ششم: كار با اسكريپتهاي سمت مشتري جستجو در وب عميق زمستان 1385
4-آناليز نتايج دريافتي از دادهپايگاهها دلايل: بدست آوردن كلمات كليدي جديد تخمين تعداد مستندات دادهپايگاه در يك زمينهي خاص جستجو در وب عميق زمستان 1385
5-دستهبندي يا خوشهبندي دادهپايگاهها دستهبندي يا خوشهبندي؟ روشهاي مختلف دستهبندي: دستهبندي مبتني بر پرسوجو دستهبندي مبتني بر خزش دستهبندي با استفاده از توصيفات كلاس سرويس جستجو در وب عميق زمستان 1385
مرزهاي پروژه جستجو در وب عميق زمستان 1385
نحوهي ارزيابي معرفي معيارهاي ارزيابي: پوشش ميزان ارتباط كارآمدي ارسال فرم مقايسهي دستهبندي بدست آمده با دستهبنديهاي موجود جستجو در وب عميق زمستان 1385
چشمانداز آينده ارائهي يك مدل براي دادهپايگاهها حل مسألهي پيدا كردن پرسوجوهاي بهينه استفاده از تكنيكهاي دستهبندي فازي بدليل: عدم قطعيت در دستهبندي همپوشاني دادهپايگاهها مانند: C-Means جستجو در وب عميق زمستان 1385
زمانبندي نام فعاليت زمان لازم تمركز برروي حوزههاي پروژه و تكميل مطالعات 1 ماه تهيهي مقاله (كنفرانس داخلي) طراحي الگوريتمهاي لازم 2 ماه پيادهسازي الگوريتمها ارزيابي كارايي تهيهي مستندات پاياننامه جستجو در وب عميق زمستان 1385
نتيجهگيري عدم كارايي موتورهاي جستجوي سنتي در برخورد با دنياي وب امروزي نياز به تحولات جديد لزوم ظهور يك موتور جستجوي وب عميق براي دستيابي به دريايي از دادههاي با كيفيت جستجو در وب عميق زمستان 1385
مراجع The Deep Web: Surfacing Hidden Value. December 2006. See www.dad.be/library/pdf/BrightPlanet.pdf Zhang, Z., He, B., and Chang, K. C. 2004. Understanding Web query interfaces: best-effort parsing with hidden syntax. In Proceedings of the 2004 ACM SIGMOD international Conference on Management of Data. Ntoulas, A., Zerfos, P., and Cho, J. Downloading textual hidden web content through keyword queries. In Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 2005. Ping Wu, Ji-Rong Wen, Huan Liu, Wei-Ying Ma, Query Selection Techniques for Efficient Crawling of Structured Web Sources, icde, p. 47, 22nd International Conference on Data Engineering (ICDE'06), 2006. R. Krishnapuram, A. Joshi, O. Nasraoui, and L. Yi, Low complexity fuzzy relational clustering algorithms for web mining, IEEE Transactions on Fuzzy Systems, vol. 9, pp. 595-607, 2001. W. Pedryez, Conditional fuzzy c-means, Pattern Recognition Letters, Vol. 17, pp. 625-632, 1996. جستجو در وب عميق زمستان 1385
سپاسگذاري از توجه شما متشكرم! جستجو در وب عميق زمستان 1385
جستجو در وب عميق زمستان 1385