Video Crawler מגישים: ארז וויטיץ רון הראל מנחה: מקסים גורביץ'

מטרות הפרויקט  סיוע בבניית מאגר סרטוני וידאו לצרכי מחקר ראיה ממוחשבת  תמיכה בהורדה פשוטה ומהירה של כמויות גדולות של סרטוני וידאו ומידע רלוונטי לגביהם

אתגרים מרכזיים  יש לעקוב אחרי המידע הרב שמורידה התוכנה ולנהל אותו בצורה מסודרת (על מנת למנוע הורדות כפולות, הורדות חלקיות ועוד...)  כמות המידע הגדולה איתה עובדים והדרישות מהתוכנה דורשות עבודה מקבילית עם מספר גדול של רכיבים  אתרי שיתוף שונים מאכסנים את הלינקים לסרטונים בצורות שונות

אתגרים מרכזיים (המשך)  אתרי שיתוף שונים מאכסנים את המידע הרלוונטי לגבי הסרטונים בצורות שונות  אתרי שיתוף הסרטונים לא תומכים בהורדה ישירה של הסרטונים  הכמות הגדולה של המידע המורד ע"י התוכנה דורש אכסון מסודר וידידותי שלו במאגר המשתמש

הפתרון- High Level  ה- Video Crawler (VC)ינהל את המידע איתו הוא עובד באמצעות Data Base  ה- VC יתמוך במציאת לינקים לסרטונים באתרים השונים בהתאם לצורת אכסונם באותם האתרים

הפתרון- High Level (המשך)  הורדת הסרטונים מאתרי השיתוף הנתמכים ע"י ה- VC באמצעות שימוש בכלי עזר חיצוני להורדות סרטונים הנקרא My Downloader  הורדת המידע הרלוונטי באתרים השונים תאופשר בהתאם לצורת אכסון המידע באתרים השונים  מאגר המידע במחשב המשתמש יאוכסן על פי היררכיית קבצים ידידותית

דוגמא: צורת אכסון של לינק בדף תוצאות חיפוש ב- YouTube

היררכיית הקבצים במחשב המשתמש

תיאור ה- Design: Class diagram

Videos searching- sequence diagram

Videos downloading- sequence diagram

Data Base  תפקידו להבטיח סנכרון בין פעולות הרכיבים השונים על הסרטונים עליהם עובדים  מאפשר מעקב אחרי סטאטוסי הטיפול בסרטונים  מאפשר גיבוי של המידע על מנת להצילו במקרה של קריסת התוכנה

Data Base  כל כניסה ב- DB מכילה ארבעה שדות: ID- מזהה את הסרטון באופן ייחודי Status- מלמד על סטאטוס הטיפול בסרטון URL- כתובת ההורדה של הסרטון Source site- מציין את האתר ממנו מורד הסרטון  כל רכיב הניגש ל- DB לצורך הוספת כניסה/בקשת כניסה/ שינוי סטאטוס של כניסה יעבור דרך Mutex  בכל פרק זמן מוגדר מראש יגבה ה- DB את המידע ע"י שמירתו לקובץ XML במחשב המשתמש

דוגמא למבנה ה- Data Base ה- ID של הסרטון ה- URL של הסרטוןהסרטון מורד מהאתר MetaCafe סטאטוס- הורדות הסרטון וה- Meta Data הסתיימו סטאטוס- הסרטון בשלבי הורדה סטאטוס- הסרטון ממתין הורדה הסרטון מורד מהאתר YouTube הסרטון מורד מהאתר MetaCafe

Downloader  אחראי על הורדת הסרטונים מאתרי השיתוף  משתמש בכלי חיצוני לצורך ההורדה  מבקש מה- DB קליפים להורדה וימשיך לעבוד כל עוד יש כאלה  מספר תהליכים מוגדר מראש של Downloader יורידו סרטונים במקביל

Site Handler  אחראי על הורדת ה- Meta Data הרלוונטי על הסרטונים מאתרי השיתוף  לכל אתר שיתוף תהיה מחלקת Site Handlerהמטפלת בו:

Site Handler  כל Site Handler משתמש במחלקה מסוג Meta Data המתאימה לאתר עובד ה Handler  השדות של Meta Data מתארים את המידע הרלוונטי בעמוד ה- Meta Data  את ה- Meta Data מוצאים באמצעות חיפוש XPATH  ה- Meta Data של הסרטון ישמר בקובץ XML ייחודי לאותו סרטון

דוגמא למציאת Meta Data ב- YouTube ה- XPATH:

פיתוחים עתידיים  תמיכה בהורדת High Quality מ- YouTube  תמיכה בקידוד לפורמטים נוספים מלבד MPG  הוספת תמיכה בהורדה מאתרים נוספים

דמו