מימוש מערכת הקבצים  תכונות של דיסקים.  מימושים בסיסיים.  קצת על מימושים מתקדמים.  אמינות מערכת הקבצים.

Slides:



Advertisements
Similar presentations
Completeness and Expressiveness. תזכורת למערכת ההוכחה של לוגיקה מסדר ראשון : אקסיומות 1. ) ) (( 2. )) ) (( )) ( ) ((( 3. ))) F( F( ( 4. ) v) ( ) v ((
Advertisements

ממיבחניםC שאלות ++.
1 Formal Specifications for Complex Systems (236368) Tutorial #4 Refinement in Z: data refinement; operations refinement; their combinations.
A. Frank File Organization Indexed-Sequential File Measurements Thanks to Tamar Barnes.
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 מערכות קבצים מבוזרות  מבוא  מבנה כללי  דוגמה : Network file system  דוגמה : Google file system.
מערכות הפעלה ( אביב 2008) חגית עטיה © 1 מערכות קבצים מבוזרות  מבוא : שקיפות ושמירת מצב.  דוגמה : Network File System.
כתיבת עבודת גמר מבנה העבודה  מבחינה צורנית - יש להקפיד על אחידות בכתיבה  כותרות אחידות  רווחים זהים, פונט בגודל אחיד (12, רווח וחצי)  הצגת.
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 מערכת הקבצים  מבוא : מטרות מערכת קבצים  מנשק המשתמש : פעולות על קבצים, ארגון קבצים, הגנה  תכונות של דיסקים.
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 סיכום הקורס.
מסדי נתונים תשס " ג 1 תכנון סכמות (Design Theory) מסדי נתונים.
תרגול 8 עצי B+ אינדקס משני.
A. Frank File Organization קובץ ישיר מתקדם Advanced Direct File.
חורף - תשס " ג DBMS, Design1 שימור תלויות אינטואיציה : כל תלות פונקציונלית שהתקיימה בסכמה המקורית מתקיימת גם בסכמה המפורקת. מטרה : כאשר מעדכנים.
מערכות הפעלה ( אביב 2004) חגית עטיה © 1 מערכות קבצים מבוזרות  מבוא : שקיפות ושמירת מצב.  דוגמה : Network File System.
מערכות הפעלה תרגול 10 – זיכרון וירטואלי ב- Linux.
שאלות חזרה לבחינה. שאלה דיסקים אופטיים מסוג WORM (write-once-read-many) משמשים חברות לצורך איחסון כמויות גדולות של מידע באופן קבוע ומבלי שניתן לשנותו.
אוקטובר מבנה מערכות הפעלה אוקטובר אסף שוסטר שקפים ע"פ אלן אזגורי/חגית עטיה.
הגנה במערכות מתוכנתות תרגול 1 – המחשב האישי הערה: שקפים אלה אינם מהווים תחליף לחומר התרגולים המפורסם באתר הקורס, ומשמשים כעזר הוראה בלבד.
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 ניהול זיכרון  מבוא : מטרות ניהול הזיכרון.  מנגנונים : מרחב כתובות וירטואלי / פיזי. חלוקת זכרון קבועה מול דפדוף.
מבוא לשפת C חידות ונקודות חשובות נכתב על-ידי יורי פקלני. © כל הזכויות שמורות לטכניון – מכון טכנולוגי לישראל.
ספר סקיצות ספר סקיצות קלאסי עם יכולות ממוחשבות. ספר סקיצות רגיל  יתרונות : נוח לנשיאה, מהיר ונוח לעבודה, עמיד.  חסרונות : הכול ידני, קשה לקבל דיוקים.
ינואר 2003אלן אזאגורי ©1 Object Storage אלן אזאגורי.
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 מערכות הפעלה קורס מס '
מערכות הפעלה ( אביב 2004) חגית עטיה © 1 מימוש מערכת הקבצים  תכונות של דיסקים.  מימושים בסיסיים.  קצת על מימושים מתקדמים.  אמינות מערכת הקבצים.
Map-Reduce Input: a collection of scientific articles on different topics, each marked with a field of science –Mathematics, Computer Science, Biology,
מערכות הפעלה ( אביב 2009) חגית עטיה © 1 תהליכים - דייאט : חוטים  מוטיבציה  חוטי משתמש וחוטי מערכת  תמיכת מערכת ההפעלה  דוגמאות ושימושים.
מערכות הפעלה ( אביב 2008) חגית עטיה © 1 מימוש מערכת הקבצים  תכונות של דיסקים.  מימושים בסיסיים.  קצת על מימושים מתקדמים.  אמינות מערכת הקבצים.
A. Frank File Organization Indexed-Sequential File Introduction Thanks to Tamar Barnes.
1 Formal Specifications for Complex Systems (236368) Tutorial #5 Refinement in Z: data refinement; operations refinement; their combinations.
A. Frank File Organization Sequential File Measures.
מרץ 2002אלן אזאגורי ©1 ניהול דיסקים Disk Management.
A. Frank File Organization Classic / Direct File קובץ ישיר קלאסי.
חישוב ואופטימיזציה של שאילתות חלק 1
מרץ 2002אלן אזאגורי ©1 מבנה מערכות הפעלה מרץ אלן אזאגורי (מרצה אחראי) ארז חדד.
1 חישוב ואופטימיזציה של שאילתות חלק 2 Query Evaluation and Optimization Part 2.
קובץ רב-אינדקס Multi-Indexed File
Multicycle MIPS תרגול כיתה מס' 13.
מערכות הפעלה ( אביב 2009) חגית עטיה ©1 מערכת קבצים log-structured  ה log הוא העותק היחיד של הנתונים  כאשר משנים בלוק (data, header) פשוט כותבים את הבלוק.
תהליכים  מהו תהליך ?  מבני הנתונים לניהול תהליכים.  החלפת הקשר.  ניהול תהליכים ע " י מערכת ההפעלה.
ניהול זיכרון  מבוא : מטרות ניהול הזיכרון.  מנגנונים : מרחב כתובות וירטואלי / פיזי. ניהול טבלת הדפים. מדיניות החלפת דפים.
מרץ מערכות קבצים File Systems. מרץ עמוד נושאים מבוא –מטרת מערכת קבצים מנשק למערכת קבצים –פעולות על קבצים –סמנטיקה –ארגון קבצים –הגנה מבנה.
מערכות הפעלה ( אביב 2006) חגית עטיה © 1 ניהול זיכרון  מבוא : מטרות ניהול הזיכרון.  מנגנונים : מרחב כתובות וירטואלי / פיזי. חלוקת זכרון קבועה מול דפדוף.
Galileo Navigation System Software Systems lab Software Systems lab סמסטר חורף תשס " ט סמסטר חורף תשס " ט מנחה: ולדימיר זדורנוב משה חיות מבצעים: גליה סימנובסקי.
Data Structures, CS, TAU, Perfect Hashing 1 Perfect Hashing בעיה : נתונה קבוצה S של n מפתחות מתחום U השוואה ל - Hash : * טבלה קבועה (Hash רגיל - דינאמי.
Remember Remember The 5 th of November. תרגול 2 קובץ סדרתי.
1 Data Structures, CS, TAU, Perfect Hashing בעיה: נתונה קבוצה S של n מפתחות מתחום U השוואה ל- Hash : * טבלה קבועה (Hash רגיל - דינאמי) * רוצים זמן קבוע.
מערכים עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר int grade1, grade2, …, grade20; int grade1, grade2, …, grade20;
עקרון ההכלה וההדחה.
מערכות הפעלה ( אביב 2006) חגית עטיה © 1 סיכום הקורס.
מערכות הפעלה ( אביב 2008) חגית עטיה © 1 סיכום הקורס.
מערכת הקבצים : יסודות  מבוא : מטרות מערכת קבצים  מנשק המשתמש : פעולות על קבצים, ארגון קבצים, הגנה  תכונות של דיסקים.  מימושים : בסיסיים וקצת על מימושים.
1 חישוב ואופטימיזציה של שאילתות חלק 1 Query Evaluation and Optimization Part 1.
תכנות מונחה עצמים Object Oriented Programming (OOP) אתגר מחזור ב' Templates תבניות.
1 חישוב של אופרטורים רלציוניים Evaluation of Relational Operators.
מערכות הפעלה ( אביב 2004) חגית עטיה © 1 תהליכים  מהו תהליך ?  מבני הנתונים לניהול תהליכים.  החלפת הקשר.  ניהול תהליכים ע " י מערכת ההפעלה.
A. Frank File Organization Hardware Size Parameters.
ניהול זיכרון  מבוא : מטרות ניהול הזיכרון.  מנגנונים : מרחב כתובות וירטואלי / פיזי. ניהול טבלת הדפים. מדיניות החלפת דפים.
תרגול 3 RAID. 7/14/20152 עובדה : בעת שכלל החומרה מתקדם בצעדי ענק, התקדמות הדיסקים מבחינת זמן גישה ונפח איטית יותר. פיתרון : לעבוד עם מספר גדול של דיסקים,
מערכות הפעלה ( אביב 2007) חגית עטיה © 1 מימוש מערכת הקבצים  מימושים בסיסיים.  קצת על מימושים מתקדמים.  אמינות מערכת הקבצים.
(C) Yohai Devir January מבנה מחשבים ספרתיים זכרון וירטואלי מבוסס על תרגול של מורן גביש.
מערכות הפעלה ( אביב 2008) חגית עטיה © 1 מערכת הקבצים  מבוא : מטרות מערכת קבצים  מנשק המשתמש : פעולות על קבצים, ארגון קבצים, הגנה  תכונות של דיסקים.
Silberschatz, Galvin and Gagne ©2009 Operating System Concepts – 8 th Edition, Chapter 11: File System Implementation.
מבוא למדעי המחשב לתעשייה וניהול הרצאה 7. סברוטינות subroutines.
שיאון שחוריMilOSS-il מוטיבציה  python זה קל ו C זה מהיר. למה לא לשלב?  יש כבר קוד קיים ב C. אנחנו רוצים להשתמש בו, ולבסס מעליו קוד חדש ב python.
Computer Architecture and Assembly Language
מערכות הפעלה ערן טרומר סמסטר א' תשע"ב
אינדקסינג והשינג (indexing & hashing)
תירגול 14: מבני נתונים דינאמיים
עבודה עם נתונים באמצעות ADO.NET
תהליכים-דייאט: חוטים מוטיבציה חוטי משתמש וחוטי מערכת
Presentation transcript:

מימוש מערכת הקבצים  תכונות של דיסקים.  מימושים בסיסיים.  קצת על מימושים מתקדמים.  אמינות מערכת הקבצים.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 2 היררכית האחסון אמצעי גיבוי, DVD, CD DISK זיכרון ראשי / פיזי DRAM מטמון רגיסטרים גדול יותר מהיר יותר נדיף לא - נדיף

Spring 03 חגית עטיה © מערכות הפעלה, שקף 3 זיכרון משני  בניגוד לזיכרון הראשי, אינו מאפשר ביצוע ישיר של פקודות או גישה לבתים.  שומר על מידע לטווח ארוך ( לא - נדיף, non-volatile ).  גדול, זול, ואיטי יותר מזיכרון ראשי.  נתרכז בדיסקים שהגישה אליהם באמצעות כתיבה או קריאה של רצפי מידע גדולים. גישה אקראית מהירה. קיבולת גבוהה.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 4 מבנה הדיסק head sector track cylinder מבנה כתובת (CHS) Cylinder, Head, Sector או (LBA) Logical Block Array plate

Spring 03 חגית עטיה © מערכות הפעלה, שקף 5 ביצועים של דיסקים דיסק ( עד 120GB) עבור מחשב שולחני... ( כמה 100$) דיסק של Seagate עבור שרת... ( $)

Spring 03 חגית עטיה © מערכות הפעלה, שקף 6 מבנה מערכת קבצים טיפוסית Application File System API System-call Interface Logical File System  logical file system קוד כללי, בלתי תלוי במערכת קבצים ספציפית  קוד שמקבל מסלול, ומחזיר את קובץ היעד  ניהול מידע כללי עבור קבצים פתוחים, כמו מיקום בקובץ... פעולות על מדריכים. הגנה ובטיחות.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 7 מבנה מערכת קבצים טיפוסית Application File System API System-call Interface Logical File System Virtual File System Interface  logical file system  virtual file system interface מנשק אחיד לכל מערכות הקבצים הספציפיות. למשל vfs_read, vfs_write, vfs_seek.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 8 מבנה מערכת קבצים טיפוסית Application File System API System-call Interface Logical File System Virtual File System Interface Physical File System 1 Physical File System 4 llogical file system vvirtual file system interface pphysical file system מימוש מנשק ה -VFS עבור מערכת קבצים ספציפית ללמשל, מעל דיסק, דיסקט, RAM, CD, רשת וכו ‘ מתכנן איך לפזר את הבלוקים. בהמשך, נתרכז בו.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 9 מבנה מערכת קבצים טיפוסית Application File System API System-call Interface Logical File System Virtual File System Interface Physical File System 1 Physical File System 4 Device Driver IBM Device Driver Seagate  logical file system  virtual file system interface  physical file system  device drivers קוד שיודע איך לפנות להתקן ספציפי דיסקים ( לפי מודל ), DVD, וכדומה. מתחיל את הפעולה הפיזית, ומטפל בסיומה. מתזמן את הגישות, על מנת לשפר ביצועים.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 10 מיפוי קבצים : הקצאה רציפה  בבלוקים באורך קבוע כפולה של גודל סקטור ( נע בין 512B – 4KB)  המשתמש מצהיר על גודל הקובץ עם יצירתו.  מחפשים בלוקים רצופים שיכולים להכיל את הקובץ.  הכניסה במדריך מצביעה לבלוק הראשון בקובץ. file1 file2 file35 6 6

Spring 03 חגית עטיה © מערכות הפעלה, שקף 11 מיפוי קבצים : הקצאה רציפה üגישה מהירה ( סדרתית וישירה )  שיברור פנימי וחיצוני  קשה להגדיל קובץ file1 file2 file35 6 6

Spring 03 חגית עטיה © מערכות הפעלה, שקף 12 מיפוי קבצים : הקצאה משורשרת  כל בלוק מצביע לבלוק הבא.  הכניסה במדריך מצביעה לבלוק הראשון בקובץ file1

Spring 03 חגית עטיה © מערכות הפעלה, שקף 13 מיפוי קבצים : הקצאה משורשרת üקל להגדיל קובץ. üמעט שיברור חיצוני.  גישה איטית, בעיקר לגישה ישירה. שימוש בבלוקים גדולים מקטין את הבעיה, אך מגדיל שיברור פנימי.  שיבוש מצביע בבלוק גורם לאיבוד חלקים של קובץ. file1

Spring 03 חגית עטיה © מערכות הפעלה, שקף 14 הקצאה משורשרת : מצב הדיסק מדריך קובץהתחלהסוף foo 814

Spring 03 חגית עטיה © מערכות הפעלה, שקף 15 File Allocation Table (FAT)  החזקת שרשרת המצביעים בנפרד. file1

Spring 03 חגית עטיה © מערכות הפעלה, שקף 16 File Allocation Table (FAT)  החזקת שרשרת המצביעים בנפרד.  בעצם, טבלה שמתארת את התוכן של הדיסק כולו.  מצביע הקובץ ( במדריך ) מראה על הכניסה הראשונה.  MS-DOS. file1

Spring 03 חגית עטיה © מערכות הפעלה, שקף 17 מגבלות של FAT  הטבלה נמצאת במקום נוח בדיסק / זיכרון ראשי, ומכילה 2 16 כניסות ( אינדקס של 16 ביטים ) 2 32 בגרסת FAT-32  כאשר גדלים הדיסקים, גודל החתיכות גדל. דיסק של 6.4GB היה מחולק לחתיכות של 100KB ( אך במציאות משתמשים ב -FAT-32 מעל 2GB) ïמגדיל את השיברור הפנימי ( בזבוז של 10-20% הוא שכיח ).  כל קובץ דורש לפחות חתיכה אחת. ïלכל היותר 64K קבצים.  טבלת ה FAT מהווה משאב קריטי. צוואר בקבוק בגישה. ïלאובדן הטבלה או לפגיעה בה יש משמעות קטסטרופאלית ï.. ולכן היא מוחזקת בשני עותקים

Spring 03 חגית עטיה © מערכות הפעלה, שקף 18 מיפוי קבצים : אינדקס  המשתמש מצהיר על גודל קובץ מקסימלי.  המצביעים לבלוקים מרוכזים בשטח רצוף üמשפר במקצת את זמן הגישה הישירה לעומת הקצאה משורשרת.  צריך להצהיר מראש על גודל קובץ file1

Spring 03 חגית עטיה © מערכות הפעלה, שקף 19 אינדקס : מצב הדיסק מדריך קובץ בלוק אינדקס foo 15

Spring 03 חגית עטיה © מערכות הפעלה, שקף 20 מיפוי קבצים : אינדקס מרובה רמות mode owners timestamps #blocks … inodedirectory file1 file2 file3 file4 direct blocks single indirection double indirection triple indirection data

Spring 03 חגית עטיה © מערכות הפעלה, שקף 21 מבנה מערכת הקבצים ב Unix 4.1  inodes (index nodes) אינם מדריכים.  מדריכים הינם קבצים רגילים אשר ממפים שמות קבצים ל inodes. לאחר שימוש ממושך במערכת הקבצים :  בלוקים שונים של אותו קובץ נמצאים רחוק זה מזה.  inodes ובלוקי אינדקס נמצאים רחוק מבלוקים של מידע.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 22 Unix 4.2 Fast File System  קבוצות של צילינדרים קרובים ( על הדיסק ).  בתוך אותה קבוצת צילינדרים משתדלים לשים : בלוקים של אותו קובץ בלוקים של אותו מדריך ( כולל inodes).  בתוך קבוצות שונות שמים : בלוקים של קבצים ממדריכים שונים.  שומרים על ~ 10% מקום פנוי בתוך כל קבוצת צילינדרים.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 23 ניהול בלוקים פנויים : bitmap  מערך ובו סיבית לכל בלוק. 0 – הבלוק תפוס ; 1 הבלוק פנוי.  מאוחסן במקום קבוע בדיסק. עותק בזיכרון הראשי, ליעילות.  עם בלוקים של 4KB, נזדקק לבלוק של ביטים עבור 8*4096 בלוקים.  קל לזהות רצף של בלוקים פנויים

Spring 03 חגית עטיה © מערכות הפעלה, שקף 24 ניהול בלוקים פנויים : רשימה מקושרת  מציאת בלוק פנוי בודד מהירה.  הקצאה של מספר בלוקים לאותו קובץ : במקומות המרוחקים זה מזה. מציאת הבלוקים מחייבת תזוזות של הדיסק.  מבנה הנתונים נהרס אם בלוק באמצע הרשימה השתבש.  ב FAT, הבלוקים הפנויים מנוהלים כקובץ אחד.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 25 ניהול בלוקים פנויים : קיבּוּץ  שימוש ברשימה מקושרת של אלמנטים : Grouping - כל אלמנט מכיל טבלה של מצביעים לבלוקים פנויים רצופים ומצביע לאלמנט הבא Counting – כל אלמנט מכיל מצביע לבלוק הפנוי הראשון מקבוצת בלוקים פנויים רצופים, מספר הבלוקים בקבוצה ומצביע לאלמנט הבא  מאפשרת למצוא בצורה יעילה מספר גדול של בלוקים פנויים ורציפים.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 26 אמינות  המידע בדיסק מתחלק ל - user data: נתוני המשתמש ( בתוך הקבצים ). metadata: מידע על ארגון הקבצים.  בלוקים של אינדקס, inodes...  איבוד / שיבוש metadata עלול לגרום לאיבוד user data רב. נפילת חשמל באמצע כתיבה עלולה לשבש את הסקטור שכעת נכתב.  מתי כתיבות עוברות מהזיכרון הראשי לדיסק ? write-through – כל כתיבה עוברת מיידית לדיסק. write-back – הדיסק מעודכן באופן אסינכרוני, אולי לא לפי סדר.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 27 אמינות נתוני המשתמש ב -Unix  במערכות Unix משתמשים במדיניות write-back נתוני המשתמש נכתבים באופן מחזורי לדיסק. תואם את סמנטיקת POSIX. פקודות fsync, sync מאלצות לכתוב את הבלוקים המלוכלכים לדיסק.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 28 אמינות ה -metadata  משתמשים במדיניות write-through עדכונים נכתבים מידית לדיסק  נתונים מסוימים נשמרים במספר עותקים למשל, שורש ה -file system  כאשר מערכת הקבצים עולה אחרי נפילה, מתקנים את מבני הנתונים. במערכות קבצים מסוימות, דורש מעבר על כל הדיסק  ScanDisk, fsck (file system check)

Spring 03 חגית עטיה © מערכות הפעלה, שקף 29 רישום (logging)  שיטה יעילה לתחזוקת ה -metadata מוכרת גם כ -journaling  רושמים ב -log סדרתי את העדכונים לפני שהם נכתבים לדיסק ( write-ahead logging ).  הבלוקים שהשתנו נכתבים לדיסק לאחר - מכן. אולי לא לפי הסדר. אפשר לקבץ מספר שינויים ולכתוב אותם בכתיבה אחת.  ניתן למחוק מה -log עדכונים שכבר נכתבו לדיסק.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 30 התאוששות עם log  לאחר נפילה, עוברים על כל הכניסות ב -log בצע את הפעולה.  ביצוע נוסף של פקודה שהתבצעה במלואה או חלקית נותן תוצאה שקולה לביצוע הפעולה המקורית (idempotent). אם הכניסה האחרונה ב -log אינה שלמה, מתעלמים ממנה.

Spring 03 חגית עטיה © מערכות הפעלה, שקף 31 יתרונות וחסרונות של logging üכתיבה לדיסק באופן אסינכרוני üהתאוששות יעילה. תלויה במספר השינויים שלא נכתבו לדיסק, ולא בגודל מערכת הקבצים.  דורש כתיבות נוספות. בערך מכפיל את מספר הכתיבות.