ינואר 2003אלן אזאגורי ©1 Object Storage אלן אזאגורי

ינואר 2003 אלן אזאגורי ©2עמוד נושאים מבנה מערכות אחסון הגישה למערכות אחסון –העלאת רמות ההפשטה מתחילה... מהפכת ה-Storage Area Networks –הבטחות (ואכזבות) ב-SANs הגדרה Object Storage –ואלו בעיות הוא מתימר לפתור... מערכות מבוססות Object Storage

ינואר 2003 אלן אזאגורי ©3עמוד מבנה מערכות אחסון Application File system Database Block Storage Read/write record Read/write file Read/write block

ינואר 2003 אלן אזאגורי ©4עמוד נושאים מבנה מערכות אחסון הגישה למערכות אחסון –העלאת רמות ההפשטה מתחילה... מהפכת ה-Storage Area Networks –הבטחות (ואכזבות) ב-SANs הגדרה Object Storage –ואלו בעיות הוא מתימר לפתור... מערכות מבוססות Object Storage

ינואר 2003 אלן אזאגורי ©5עמוד רמות הפשטה א' Cylinder-Head-Sector הגישה משקפת את המבנה הפיזי של הדיסק –CHS = Cylinder, Head, Sector head sector cylinder

ינואר 2003 אלן אזאגורי ©6עמוד רמות הפשטה א‘ בעיה מערכת הקבצים אחראית על ניהול "סקטורים" משובשים   מערכת קבצים

ינואר 2003 אלן אזאגורי ©7עמוד רמות הפשטה ב' Logical Block Addressing התיחסות לדיסק כאל מערך חד-מימדי של סקטורים/בלוקים בגודל קבוע

ינואר 2003 אלן אזאגורי ©8עמוד רמות הפשטה ב' יתרונות – Sector Sparing כאשר הדיסק מזהה שסקטור מתחיל "לזייף", הוא ממפה אותו לסקטור חילופי   2 13 Sector Sparing

ינואר 2003 אלן אזאגורי ©9עמוד רמות הפשטה נוספות Logical Block Address –ממסך סקטורים משובשים RAID –ממסך נפילה של דיסק שלם Logical Volume Manager / Storage Controller –מאפשר מיפוי גמיש של דיסקים לוגיים מעל דיסקים פיזיים...

ינואר 2003 אלן אזאגורי ©10עמוד נושאים מבנה מערכות אחסון הגישה למערכות אחסון –העלאת רמות ההפשטה מתחילה... מהפכת ה-Storage Area Networks –הבטחות (ואכזבות) ב-SANs הגדרה Object Storage –ואלו בעיות הוא מתימר לפתור... מערכות מבוססות Object Storage

ינואר 2003 אלן אזאגורי ©11עמוד From Direct Attached Storage to Network Attached Storage… Application File system Database Block Storage שרת DAS Application File system Database Block Storage שרת NAS Network

ינואר 2003 אלן אזאגורי ©12עמוד …to Storage Area Networks Application File system Database Block Storage שרת SAN שרת אחסון Network

ינואר 2003 אלן אזאגורי ©13עמוד שילוב טכנולוגיות Application File system Database Block Storage שרת קבצים / מסד נתונים שרת אחסון Network שרת אפליקציה Network רשת: בד"כ IP פרוטוקול: NFS, CIFS רשת: בד"כ FibreChannel פרוטוקול(SCSI) FCP

ינואר 2003 אלן אזאגורי ©14עמוד הבטחות SANs גישה לנתונים ללא מתווכים Application File system Database Block Storage שרת קבצים / מסד נתונים שרת אחסון Network שרת אפליקציה Network Data Control

ינואר 2003 אלן אזאגורי ©15עמוד הבטחות SANs שיתוף דיסקים File system Database שרת קבצים / מסד נתונים Network Application שרת אפליקציה Network Data Control Application שרת אפליקציה Application שרת אפליקציה Application שרת אפליקציה Application שרת אפליקציה Application שרת אפליקציה Application שרת אפליקציה Block Storage שרת אחסון Block Storage שרת אחסון Block Storage שרת אחסון

ינואר 2003 אלן אזאגורי ©16עמוד בעיות שצצות ב-SANs הבטחה בגישה לנתונים – Secure Access –אין בפרוטוקול גישה לדיסק אמצעי להבטחת המידע השרת היה אחראי לאבטח את הנתונים לא היתה גישה ישירה אליהם –גישה לסקטור אחד יאפשר גישה לכל סקטור הדיסק הוא יחידה "טפשית" –רוב הפעולות מחייבות תיאום למשל, הגדלת קובץ

ינואר 2003 אלן אזאגורי ©17עמוד נושאים מבנה מערכות אחסון הגישה למערכות אחסון –העלאת רמות ההפשטה מתחילה... מהפכת ה-Storage Area Networks –הבטחות (ואכזבות) ב-SANs הגדרה Object Storage –ואלו בעיות הוא מתימר לפתור... מערכות מבוססות Object Storage

ינואר 2003 אלן אזאגורי ©18עמוד Object Storage Today's Block Device Operations read block write block Security Weak Full disk Allocation External Operations read object offset write object offset create object delete object Security Strong Per Object Allocation Local Object Store

ינואר 2003 אלן אזאגורי ©19עמוד Object Store Operations  Basic Operations  Create Object  Delete Object  Write Offset in Object  Read Offset in Object  Administrative Operations  Basic abstract flow  Create an object, getting back an object ID  Clients responsibility to remember the ID  Send requests to read and write the object given the ID  Delete the object when done using

ינואר 2003 אלן אזאגורי ©20עמוד Object Store Security  All operations are secured by a credential  Security achieved by cooperation of:  Admin - authenticates, authorizes and generates credentials.  ObS - validates credential that a host presents.  Credential is cryptographically hardened  ObS and admin share a secret  Goals of Object Store security are:  Increased protection/security  At level of objects rather than whole LUs  Hosts do not access metadata directly  Allow non-trusted clients to sit in the SAN  Allow shared access to storage without giving clients access to all data on volume Client Object Store Security Admin Shared Secret Authorization Req Credential

ינואר 2003 אלן אזאגורי ©21עמוד Object Store Operations Read  Read  Parameters: Object Store ID, Object ID, Offset, Length, Credentials  Basic steps an object store must provide  Receive request  Validate credentials  Find allocation data for indicated object  Map offset and length to a collection of LBAs in an underlying block storage  Stage the data if necessary  Gather the data and return to the host  Issues and Variants  Block alignment  Read of non-allocated data (sparse vs. past "end" of object)

ינואר 2003 אלן אזאגורי ©22עמוד Object Store Operations Write  Write  Parameters: Object Store ID, Object ID, Offset, Length, Credentials, Data  Basic steps an object store must provide  Receive request  Validate credentials  Find allocation data for indicated object  Determine if the indicated range is already bound to a collection of underlying LBAs  If not already bound  Determine the mapping  Update the metadata  Destage the data to the indicated LBAs  Issues/Variants  Use of a non-volatile write cache  Late binding  Hardening the metadata updates  Ensuring metadata updates are only modified if data is hardened  Block alignment

ינואר 2003 אלן אזאגורי ©23עמוד  Type  Does the credential apply to a specific object or entire object store  Object Rights  Read, Write, Append, Truncate, Create (given an ID), Delete, Info  Object Store (ObS) Rights  Format, Create (ObS generates ID), Info on Object Store  Ver(sion)  Used to allow the credential to time out Object Rights ObS Rights TypeObject IDObS ID W R AT FC*I* CDI Ver Capability Structure

ינואר 2003 אלן אזאגורי ©24עמוד  Capability  Operations that the credential entitles  Encrypted Secret  A Secret generated by the Admin  A different secret for every credential  Encrypted with a key Admin shares with the ObS  MAC -- Message Authentication Code  Standard cryptographic hash on the capability and the encrypted secret  Ensures host cannot alter/forge a credential  Secret  The (un-encrypted) secret  Used by the client to verify that it got the credential form the Admin CapabilityEncrypted SecretMAC Secret Admin Client Client ObS public credentialprivate credential Credential Structure

ינואר 2003 אלן אזאגורי ©25עמוד נושאים מבנה מערכות אחסון הגישה למערכות אחסון –העלאת רמות ההפשטה מתחילה... מהפכת ה-Storage Area Networks –הבטחות (ואכזבות) ב-SANs הגדרה Object Storage –ואלו בעיות הוא מתימר לפתור... מערכות מבוססות Object Storage

ינואר 2003 אלן אזאגורי ©26עמוד 4 Client File Manager Block Device 1 1.Create File 2.Return allocation bitmap 3.I/O (unsecured) 4.Request additional allocation bitmap 5.Return allocation bitmap 6.I/O (unsecured) 7.Return actual allocation data to File Manager SAN File System without an Object Store

ינואר 2003 אלן אזאגורי ©27עמוד Client File Manager Object Store 1 1.Create File 2.Return Locks and Credentials 3.Create Object and perform I/O with Credentials 4.I/O with Credentials SAN File System with an Object Store

ינואר 2003 אלן אזאגורי ©28עמוד Blocks vs. Objects vs. Files  Fastest  Small set of operation  No connection to user’s abstraction  Dumb device  No security  Fast  Small set of operations  Object usually maps to user abstraction  Local space management  Enable end-to-end management  Secure  Slow  Rich set of operations (sometimes more than what the application requires)  Locking  Hierarchical name service  …  File usually maps to user abstraction  Secure (depending on the protocol) Block StorageObject StorageFile Storage

ינואר 2003 אלן אזאגורי ©29עמוד  Object Stores  First big push  Garth Gibson, et al., NASD -- CMU, Panasas  EMC Centera  Claims to be an object store  Lustre and Object Store Target (LLNL)  DSF Storage Manager ...  Drivers  iSCSI  IP access to storage exasperates SAN security problems  Data Sharing Facility (DSF)  A highly scalable research file system which incorporated an object-store like component to ensure local space allocation  Storage Tank and other SAN file systems  Shared access requires SAN security (or trusted clients!) How Real Are Object Stores?

ינואר 2003 אלן אזאגורי ©30עמוד מידע נוסף  A. Azagury, R. Canetti, M. Factor, S. Halevi, E. Henis, D. Naor, N. Rinetzky, O. Rodeh, J. Satran, "A Two Layered Approach for Securing an Object Store Network," First IEEE International Security In Storage Workshop, Greenbelt, MD, Dec  A. Azagury, V. Dreizin, M. Factor, E. Henis, D. Naor, N. Rinetzky, O. Rodeh, J. Satran, A. Tavory, L. Yerushalmi, "Towards an Object Store", 20th Symposium Mass Storage Systems & Technologies MSST03 (to appear).