A. Frank File Organization File Organization Measures.

Slides:



Advertisements
Similar presentations
Completeness and Expressiveness. תזכורת למערכת ההוכחה של לוגיקה מסדר ראשון : אקסיומות 1. ) ) (( 2. )) ) (( )) ( ) ((( 3. ))) F( F( ( 4. ) v) ( ) v ((
Advertisements

1 Formal Specifications for Complex Systems (236368) Tutorial #4 Refinement in Z: data refinement; operations refinement; their combinations.
A. Frank File Organization Introduction. 2 A. Frank Data, Information & Knowledge Three Similar Terms? Data - נתונים Information - מידע Knowledge - ידע.
[ תפקידי רוחב בצוות ]. Features סיפוריםחבר צוות אחראי הערכת זמן ( בשעות ) זמן בפועל ( בשעות ) הושלם ( כן \ לא )
A. Frank File Organization Indexed-Sequential File Measurements Thanks to Tamar Barnes.
A. Frank File Organization Hardware Time Parameters.
1 Formal Specifications for Complex Systems (236368) Tutorial #2 Z introduction and notation (contd.); Birthday book example (Chapter 1 in the book); Z.
1 חישוב של אופרטורים רלציוניים Evaluation of Relational Operators.
רקורסיות נושאי השיעור פתרון משוואות רקורסיביות שיטת ההצבה
תרגול 8 עצי B+ אינדקס משני.
A. Frank File Organization קובץ ישיר מתקדם Advanced Direct File.
שאלות חזרה לבחינה. שאלה דיסקים אופטיים מסוג WORM (write-once-read-many) משמשים חברות לצורך איחסון כמויות גדולות של מידע באופן קבוע ומבלי שניתן לשנותו.
עבודה סמינריונית Prelude to Ukkonen algorithm ON-LINE CONSTRUCTION OF SUFFIX TREES מגישים : עיד מוחמד טיבי פיראס.
חורף - תשס " ג DBMS, צורות נורמליות 1 צורה נורמלית שלישית - 3NF הגדרה : תהי R סכמה רלציונית ותהי F קבוצת תלויות פונקציונליות מעל R. R היא ב -3NF.
Map-Reduce Input: a collection of scientific articles on different topics, each marked with a field of science –Mathematics, Computer Science, Biology,
A. Frank File Organization Indexed-Sequential File Introduction Thanks to Tamar Barnes.
1 Data Structures, CS, TAU, Splay Tree Splay Tree  מימוש של עץ חיפוש בינארי  מטרה לדאוג ל- Amortized Time  פעולה בודדת יכולה לקחת O(N)  אבל כל רצף.
1 Formal Specifications for Complex Systems (236368) Tutorial #5 Refinement in Z: data refinement; operations refinement; their combinations.
A. Frank File Organization Sequential File Measures.
A. Frank File Organization Pile File Measures. 2 A. Frank Steps in analysis of file organization בהערכת מבנה קובץ, נתייחס ל - 6 שלבים / צעדים : 1. תאור.
א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.
A. Frank File Organization Stream Model מודל תזרים Thanks to Adi Gutman and Noa Cohen.
A. Frank File Organization Classic / Direct File קובץ ישיר קלאסי.
חישוב ואופטימיזציה של שאילתות חלק 1
Formal Specifications for Complex Systems (236368) Tutorial #6 appendix Statecharts vs. Raphsody 7 (theory vs. practice)
תורת הקבוצות חלק ב'. קבוצה בת מניה הגדרה: קבוצה אינסופית X היא ניתנת למניה אם יש התאמה חד-חד ערכית בין X לבין .
תכנות תרגול 6 שבוע : תרגיל שורש של מספר מחושב לפי הסדרה הבאה : root 0 = 1 root n = root n-1 + a / root n-1 2 כאשר האיבר ה n של הסדרה הוא קירוב.
1 חישוב ואופטימיזציה של שאילתות חלק 2 Query Evaluation and Optimization Part 2.
A. Frank File Organization Data Units Hierarchy Thanks to Adi Gutman and Noa Cohen.
1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site : T.A. :Emilia Katz.
קובץ רב-אינדקס Multi-Indexed File
מערכות הפעלה ( אביב 2009) חגית עטיה ©1 מערכת קבצים log-structured  ה log הוא העותק היחיד של הנתונים  כאשר משנים בלוק (data, header) פשוט כותבים את הבלוק.
A. Frank File Organization Building on the Stream Model Thanks to Adi Gutman and Noa Cohen.
A. Frank File Organization Introduction to Overflow Thanks to Tamar Barnes.
A. Frank File Organization Various Parameter Issues.
תרגול 9 אלגברה רלציונית.
תרגול 7 עצי B
מספר קבצים 1 שיטות גרפיות הצגת מספר קבצים במקביל המטרה : הצגה במקביל של קבצי נתונים בכדי להשוותם הדרכים – הצגה במקביל – הלבשה – הרכבה עקרונות.
מבני בקרה לולאות. שאלה #1 שאלה ב' – תכתוב תוכנה הכותבת את תפריט הבאה Type 1 to find the area of a circle Type 2 to find the circumference of a circle.
A. Frank File Organization Transfer Time/Rate Parameters.
טיב פני שטח (טפ"ש) טיב פני שטח- רמת החלקות של המשטח.
Data Structures, CS, TAU, Perfect Hashing 1 Perfect Hashing בעיה : נתונה קבוצה S של n מפתחות מתחום U השוואה ל - Hash : * טבלה קבועה (Hash רגיל - דינאמי.
Remember Remember The 5 th of November. תרגול 2 קובץ סדרתי.
אלכסנדר ברנגולץ דואר אלקטרוני: אלכסנדר ברנגולץ דואר אלקטרוני: פעולות מורפולוגיות.
1 Data Structures, CS, TAU, Perfect Hashing בעיה: נתונה קבוצה S של n מפתחות מתחום U השוואה ל- Hash : * טבלה קבועה (Hash רגיל - דינאמי) * רוצים זמן קבוע.
עקרון ההכלה וההדחה.
מערכת הקבצים : יסודות  מבוא : מטרות מערכת קבצים  מנשק המשתמש : פעולות על קבצים, ארגון קבצים, הגנה  תכונות של דיסקים.  מימושים : בסיסיים וקצת על מימושים.
1 חישוב ואופטימיזציה של שאילתות חלק 1 Query Evaluation and Optimization Part 1.
הוספת תקשורת ל - [ תפקידי רוחב בצוות ]. ארכיטקטורת תקשורת מה מבנה האפליקציה ? באילו טכנולוגיות \ ספריות השתמשתם ? מדוע ?
תכנות מונחה עצמים Object Oriented Programming (OOP) אתגר מחזור ב' Templates תבניות.
תחשיב היחסים (הפרדיקטים)
מדדי פיזור פיזור מצביע על מידת ההטרוגניות או ההומוגניות של ההתפלגות. פיזור הוא מדד יחסי, כיוון שאפשר לומר אם הפיזור בהתפלגות רחב או צר, רק ביחס לפיזור.
1 חישוב של אופרטורים רלציוניים Evaluation of Relational Operators.
מבוא למדעי המחשב, סמסטר א ', תשע " א תרגול מס ' 1 נושאים  הכרת הקורס  פסאודו - קוד / אלגוריתם 1.
Markov Decision Processes (MDP) תומר באום Based on ch. 14 in “Probabilistic Robotics” By Thrun et al. ב"הב"ה.
A. Frank File Organization Introduction to Pile File.
Particle Filter תומר באום ב"ה. מוטיבציה אנו רוצים להעריך מצב של מערכת (מיקום,מהירות טמפרטורה וכו') בעזרת מדידות שנעשות בזמנים שונים. ( כמו טווח לנקודות.
A. Frank File Organization Hardware Size Parameters.
1 מבוא למדעי המחשב סיבוכיות. 2 סיבוכיות - מוטיבציה סידרת פיבונאצ'י: long fibonacci (int n) { if (n == 1 || n == 2) return 1; else return (fibonacci(n-1)
Safari On-line books. מה זה ספארי ספארי זו ספריה וירטואלית בנושא מחשבים היא כוללת יותר מ כותרים כל הספרים הם בטקסט מלא ניתן לחפש ספר בנושא מסוים.
מערכות הפעלה ( אביב 2008) חגית עטיה © 1 מערכת הקבצים  מבוא : מטרות מערכת קבצים  מנשק המשתמש : פעולות על קבצים, ארגון קבצים, הגנה  תכונות של דיסקים.
1 מבוא למדעי המחשב הרצאה 21: Queue, Iterator & Iterable.
מבוא למדעי המחשב לתעשייה וניהול הרצאה 7. סברוטינות subroutines.
1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site:
Formal Specifications for Complex Systems (236368) Tutorial #1
אינדקסינג והשינג (indexing & hashing)
SQL בסיסי – הגדרה אינדוקטיבית
עבודה עם נתונים באמצעות ADO.NET
Data Structures, CS, TAU, Splay Tree
Marina Kogan Sadetsky –
Presentation transcript:

A. Frank File Organization File Organization Measures

2 A. Frank File Organization Measures Wiederhold מגדיר שבעה מדדים להערכת מבני קבצים ( הקובץ ושבעת המדדים ). אנו נוסיף מדד שמיני ( לגבי ביטול - הסבר בהמשך ). יש מדד שטח אחד ושאר המדדים הם מדדי זמן. הפעולות בקובץ מבוצעות על ידי צרופים של חיפושים, קריאות וכתיבות של גושים. את מדדי הקבצים נעריך בעזרת כל הפרמטרים שלמדנו. סימון : n (=(nrf מספר רשומות בקובץ. b (= (nbf מספר גושים בקובץ.

3 A. Frank פרמטר Overall storage required per Record R - שטח אחסון לרשומה - המקום הכולל ( ברוטו ) בבתים הדרוש לאחסון של רשומה ביחס למבנה הקובץ (storage required per Record). אפשר לחשב מדד R ע " י חילוק סך שטח הקובץ בבתים במספר הרשומות בקובץ. עדיף לאחסן רשומה בשטח המתקרב לנטו שלה ( ממד R שואף לפרמטר R). מדד נטו נטו + בזבוז ברוטו

4 A. Frank Time to fetch any record - זמן הבאת רשומה (Fetch record) כלשהי מהקובץ ( כתשובה ראשונה לשאילתה ). דורש איתור מהיר של מיקום הרשומה מבחינת גוש הנתונים המתאים שלה, ואז שליפתה מגוש הנתונים שנקרא פנימה. הבאת רשומה כלשהי יקרה יותר מקריאת גוש הנתונים המכיל אותה ממען מסוים.

5 A. Frank Time to fetch next logical record זמן הבאת הרשומה הלוגית הבאה (fetch Next record). דורש קריאת הרשומה הלוגית הבאה לאחר האחרונה / הנוכחית שנקראה, לפי סדר לוגי טבעי או מושרה (induced) על הקובץ. הסדר הלוגי של הרשומות תלוי בארגון הקובץ והרשומות. רשומה זו אינה בהכרח הרשומה הפיסית הבאה.

6 A. Frank Time to insert any record - זמן הוספת רשומה (Insert record) כלשהי. הוספה באמצע דורשת אולי הזזה של רשומות אחרות, למול סיפוח append) ) שלא. כאשר Bfr > 1, יש צורך לקרוא ולכתוב גוש ( קריאת הגוש המתאים, הוספת הרשומה בתוכה, וכתיבתה מחדש )! הוספת רשומה כלשהי יקרה יותר מכתיבת גוש הנתונים המכיל אותה למען מסוים.

7 A. Frank Time to update any record - זמן עדכון רשומה (Update record) כלשהי. עדכון מבחינה לוגית הוא : הבאה + ביטול + הוספה. קריאת רשומה ( למעשה גוש ), שינויה בגוש, וכתיבתה מחדש In-place update)) של הגוש. יתכן כי גודל הרשומה משתנה. אם היא גדלה, יתכן שצריך לכתבה במקום חדש Out-place update)), לדוגמא בסוף, אחרי ביטול הרשומה הישנה כמובן. לגבי ביטול בשקף הבא.

8 A. Frank Time to delete any record ( ) - זמן ביטול רשומה (Delete record) כלשהי ( מדד לא רשמי – אפשר לגוזרו מ - ?). 2 גישות לביטול רשומה : פיסי ולוגי. ביטול פיסי של רשומה דורש הזזה בקובץ, ( כמו ב - ). ביטול לוגי ( בלי הזזות ) נעשה על ידי סימון מצבה (tombstone) בתחילת הרשומה וכתיבתה מחדש ( של הגוש שלה ) חזרה לדיסק. ) לגבי ביטול לוגי )

9 A. Frank Time for exhaustive read of file - זמן לקריאה ממצה (eXhaustive read) של כל הקובץ לפי הסדר הלוגי של הרשומות. יש צורך לקרוא את כל הרשומות בקובץ. יעילות פעולה זו תלויה במדד ( מלבד עלות הבאת הרשומה הראשונה ).

10 A. Frank Time to reorganize file - זמן לארגון מחדש של כל הקובץ (reorganize file). ( למה Y ?) מקביל לארגון מחדש של מבנה נתונים ( סיירת אשפה.(Garbage Collection כולל קריאה ( ממצה ) של הקובץ, זריקה של רשומות מבוטלות, וכתיבת הקובץ מחדש בשביל הרשומות שנשארו.

11 A. Frank Groupings of measures אפשר לסווג מדדי זמן לשתי קבוצות לפי מאפיינים של : 1. הפרימיטיבים של מודל תזרים : או לא ( השאר ). 2. פעולה המתבצעת על כל הקובץ : או על רשומה בודדת ( השאר ). 3. פעולה לפי הסדר הלוגי : או לא ( השאר ). 4. מדדים מאופייני קריאה (read- oriented):, לעומת מדדים מאופייני כתיבה ( write- oriented):.

12 A. Frank Questions to consider in measures בחישוב המדדים יש להתייחס, בין השאר, לסוגי השאלות הבאות : 1. האם הזרוע בגליל הנכון, או שיש צורך לחפש (seek)? ז. א., היש צורך להתחשב ב -s ? 2. איפה יחסית נמצאת הרשומה במסילה ? ז. א., להתחשב בהשהיה של r, 0 או 2r ? 3. האם קוראים רשומות בודדות או קוראים בקובץ ברצף ? ז. א., להשתמש ב - t או ב -'t ? 4. האם מתחשבים בשטח רשומה או גם בבזבוז ? ז. א., להשתמש ב -R או ב -W+R, או ב -B או ב -G+B ?

13 A. Frank Time to rewrite a just read block ReWriteTime to - זמן לכתיבה מחדש של גוש שזה עתה נקרא ( לדוגמא ב - ). זמן המתנהכתיבת הגוש

14 A. Frank Disk is representative technology הדיסק הוא אכן טכנולוגיה ייצוגית, תרתי משמע : – דיסק : 'S, B, R, W, Bfr, s, r, T, t, t – דיסק עם ראשים קבועים : במה שונה ? s = 0 – תקליטון : במה שונה ? ntc = 2 – סרט : במה שונה ? r = 0 ( בעצם r לא קיים ). לדוגמא בסרט : ולא אם לדייק יותר, הדיסק הוא אכן טכנולוגיה ייצוגית בזה שאפשר לנתח את שאר הטכנולוגיות בצורה דומה לניתוח שלו.

15 A. Frank Steps in analysis of file organization בהערכת מבנה קובץ, נתייחס ל - 6 שלבים / צעדים : 1. תאור / מבנה לוגי ( רעיון, פילוסופיה וכו '). 2. שימושים / יישומים אפשריים. 3. תאור / מבנה פיסי ( מימוש אחד או יותר ). 4. מעבר לא - פורמלי על הדינמיקה בקובץ והמדדים. 5. הערכה פורמלית של מבנה הקובץ. 6. סיכום, השוואה לאחור והסתכלות קדימה.

16 A. Frank File Organizations Basic File Organizations (1) Pile File (2) Sequential Files (3) Indexed-Sequential Files (4) Direct (Access) Files Higher-Level File Organizations (5) Multi-rings (Linear Files) (6) B-Trees (Non-Linear Multi-index Files)