Advanced Topics in Storage Systems Storage Failures FAST ‘08: L.N. Bairavasundaram, G. R. Goodson, B. Schroeder, A. C. Arpaci-Dusseau and R. H. Arpaci-Dusseau: An Analysis of Data Corruption in the Storage Stack. W. Jiang, C. Hu, A. Kanevsky, and Y.Zhou: Are Disks the Dominant Contributor for Storage Failures? A Comprehensive Study of Storage Subsystem Failure Characteristics Dvir Olansky Advanced Topics in Storage Systems Spring 2013

Outline Problem Addressed Main Findings Storage System Architecture Results Conclusions and Implications

Problem Addressed Storage failures from a system perspective: Silent Data Corruptions. Failures of storage system components besides disks. Statistical properties of storage system failures. רוב המחקרים הקודמים עסקו בכשלים ברכיב הליבה של מערכת האחסון – הדיסק, ולא יחסו חשיבות לרכיבים אחרים. כמו כן, הכשלים אשר נחקרו היו כאלה שהדיסקים יכלו לדווח עליהם, כמו latent sector error. Silent data corruption – דיסקים ו-Controllers עכשוויים מכילים מאות אלפי שורות קוד של low level firmware, יחד עם ממשקים אל קוד ברמות גבוהות יותר. למערכת זו של שורות קוד פוטנציאל להכיל באגים אשר גורמים לשגיאות במידע ללא אינדיקציה מהדיסק. מצב זה עלול לגרום לאבדן מידע ברמת המערכת בסבירות גבוהה יותר מ-latent sector errors כיוון ששגיאות אינן מזוהות או מתוקנות על ידי הדיסק. מערכות אחסון של ימינו הופכות גדולות ומורכבות ומכילות רכיבים רבים אשר עוטפים את הדיסקים כמו חיבורים פיסיים, מדפים, protocol stacks, כבלים, ועוד. נשאלת השאלה האם לשאר הרכיבים משקל משמעותי בכשלים של מערכת אחסון.

Main Findings Disk failures contribute to only 20-55% of storage system failures. Storage failures are not independent. Storage failures show strong spatial and temporal locality. תכנון מנגנון ה-RAID, ומחקרים רבים נוספים, מניחים חוסר תלות בין כשלים, כל שההסתברות לכשל נתונה ע"פ ה-MTTF המפורסם ע"י הצרכן והזמן בין כשלים מפולג אקספוננציאלית.

Storage System Architecture EMC Symetrix DMX-4 מה להדגיש: בצד אחד ניתן לראות את ה-Host Attach, לכאן יתחברו המחשבים המשתמשים ב-Storage בסוגי פרוטוקולים שונים. בצד שני ניתן לראות את הדיסקים עצמם (FC Disks). ניתן להתרשם ממטריצת החיבורים המכילה זיכרונות גלובליים של 64GB, מיחידת הקירור, אספקת המתח, UPS, יחידת ה-Processing.

Storage System Architecture להדגיש: Shelf Enclosure – מתח, קירור, וחיבוריות פנימית בין הדיסקים שהוא מכיל. FC Cables – קישוריות בין המדפים השונים ואל ה-Hosts של המערכת. בחלק מהמקרים קיימת יתירות בחיבורים אלה.

Nearline Vs. Enterprise Disks Enterprise Disks– Fiber Channel Interface Disks. Low-end, Med-Range, High-end. Nearline Disks – ATA Interface (mostly SATA). ATA – Advanced Technology Attachment עבור Med-Range ועבור High-Range

Corruption Detection Mechanisms Storage system does not knowingly propagate corrupt data to the user under any circumstance. Data Integrity Segments in each File System block. על מנת לגלות Silent Data Corruptions מוסיפים לכל בלוק של File Sys. Data חלק של Integrity. בתוך ה-Integrity של בלוק מופיע Checksum אשר נבדק ברמת מערכת האחסון בכל קריאה של קובץ ובמהלך Scrubbing – תהליך מחזורי שנועד לזהות שגיאות במערכת האחסון.

NetApp AutoSupport Database Built-in, low-overhead mechanism to log important system events to a central repository. Over 1.5M disks included in about 39,000 storage systems for a period of over 40 months. Unprecedented sample size. Both papers rely on this database. מערכת לוגים המיועדת בעיקר לתמיכה בלקוחות שחווים כשלים במערכת האחסון.

Results Nearline Enterprise CM – Checksum mismatch ניתן לראות שההסתברות ל-CM גבוהה בסדר גודל עבור Nearline לעומת Enterprise. בנוסף, ניתן להבחין בשוני משמעותי בין יצרן ליצרן בתוך כל מחלקה.

Results בנוסף ל-Disk Failures ניתן לראות כי כשלים בחיבורים פיסיים מהווים 27-68% מכשלי מערכת האחסון, וכמו כן כשלי Protocol ו-Performance מהווים חלק ניכר מכשלי המערכת. משמעות: כשלי דיסקים אינם החלק הדומיננטי בכשלי מערכת אחסון ולכן מחקר לאמינות מערכת אחסון לא יכול להתבסס על דיסקים בלבד. בנוסף לשגיאות בדיסקים קיימים שלושה גורמים משמעותיים נוספים לכשל במערכות אחסון: חיבורים פיסיים – כשלים ברשת המחברת בין כלל הדיסקים, העלולים להיגרם עקב בעיות פיסיות בכבלים, נפילות מתח למדפי דיסקים, שגיאות בחיבורים הפנימיים במדפי דיסקים (backplane), שגיאות ב-Disk Driver שבמדף. כשלים מסוג זה גורמים לדיסקים "להיעלם" מהמערכת. פרוטוקולים – שגיאות הנגרמות במערכת שורות הקוד שתוארה קודם. כשלים מסוג זה גורמים לכך שלמרות שהדיסקים מופיעים כזמינים במערכת תגובתם לבקשות I/O יהיו שגויות. ביצועים – אף אחת מהשגיאות הקודמות לא קרתה, ומערכת האחסון מזהה כי דיסק מסוים לא משרת בקשות I/O בזמן סביר. הגורם העיקרי למצב זה הוא כשלים חלקיים, כמו קישוריות לא יציבה או עיסוק כבד של דיסק ב-recovery. כמו כן, ניתן לראות שלמרות שדיסקים מסוג Nearline מציגים את ה-AFR (Annual Failure Rate) הגבוה ביותר, מערכות האחסון המבוססות עליהם לא מציגות את ה-AFR הגבוה ביותר. לכן, ה-AFR של הדיסקים במערכת אינו מעיד על ה-AFR של המערכת כולה. ניתן לראות שנתוני ה-Disk Failure, עבור ES פחות מ-1% ועבור NL פחות מ-2% מתאימים לנתוני היצרן, בשונה ממה שטוענים מחקרים קודמים, זאת מכיוון שכעת יש לנו מבט מ-System Perspective.

Results רב הדיסקים מפתחים מספר מעט של CM’s, אולם מעט דיסקים מפתחים מספר גדול מאד של CM’s – חציון של 3, אך ממוצע של 78. מתוך הדיסקים שפיתחו לפחות שגיאת CM אחת, דיסקים מסוג Enterprise מפתחים יותר שגיאות מדיסקים מסוג Nearline. אפשר לראות את זה מהעליות החדות ב-NL שמשמעותן היא שרב הדיסקים מפתחים מעט שגיאות, לעומת העליות המתונות יותר ב-ES. Corrupt ES disks develop many more checksum mismatches than corrupt NL disks.

Results Checksum mismatches within the same disk are not independent:

Results חישוב תיאורטי ל-N שגיאות בלתי תלויות בזמן T

Results דיסקים באותו Shelf Enclosure – ניתן לראות שהתוצאות האמפיריות בוודאות גבוהה מאד אינן תואמות לתיאוריה ולכן המסקנה היא ששגיאות מכל הסוגים אינן בלתי תלויות

Results הגרף מציג את הסיכוי ל-CM נוסף ע"פ רדיוס בבלוקים באותו דיסק (בלוקים של 4K). חשוב לציין שנלקחו רק דיסקים עם בין 2-10 שגיאות. Much if the observed spatial locality is due to consecutive disk blocks developing corruption.

Results Theoretical

Conclusions and Implications Employ redundancy mechanisms to tolerate storage system component failures – Not only disks! f.e. physical interconnect multipathing reduce AFR by 30-40%

Conclusions and Implications Redundant data structures should be stored distant from each other. Same disk, close sectors Same disk, far sectors Different Disks, same shelf Different shelves

Conclusions and Implications Temporal and spatial locality can be leveraged for smarter scrubbing. Trigger a scrub before it’s next scheduled time, when probability of corruption is high. Selective scrubbing of an area of the disk that’s likely to be affected.

Conclusions and Implications Replacing ES disk on the first detection of corruption makes sense. Replacement cost may not be a huge factor since the probability of the first corruption is low.

Thank You