תרגול 8 Skip Lists Hash Tables

Skip Lists Definition: – A skip list is a probabilistic data structure where elements are kept sorted by key. – It allows quick search, insertions and deletions of elements with simple algorithms. – It is basically a linked list with additional pointers such that intermediate nodes can be skipped. – It uses a random number generator to make some decisions.

Skip Lists

דוגמה :

שאלה 1

קוד : Select(S, k) p ← leftmost and upmost node of S pos ← 0 for i ← h (the height of S) downto 1 while (pos + p.dis ≤ k) pos ← pos + p.dis p ← p.next if (pos = k) return p //return the basis of p's tower else p ← below(p) // i ← i-1

שאלה 1 הדגמה : נבצע Search(7,S). pos =01467 pos.dis = k = 7 (target is 31) 1 Pos + pos.dis k<= > 35231

Question 2

Solution: Time Complexity: The in-order traversal is O(n). The running time of the rest of the algorithm is linear in the number of elements in the skip list, that is O(n). The worst query time in such a skip list is O(log n). This question demonstrates how to construct a deterministic skip-list from an ordered set of n keys in O(n) time. Build(T, S) S1 ← inorder(T) i ← 1 while (i < log n) for j ← 1 to |Si| if (j mod 2 = 0) link = S i+1.add(S i [j]) //method returns a pointer to the link added. link.below = S i [j] i ← i+1

Dictionary Dictionary ADT The dictionary ADT models a searchable collection of key-element items, and supports the following operations: Insert Delete Search

Hash Tables Hash Function A hash function h maps keys of a given type into integers in a fixed interval [0,m-1] Uniform Hash Hash Table A hash table for a given key type consists of:  Hash function h: keys-set →[0,m-1]  Array (called table) of size m

Hash Tables Direct Addressing (מיעון ישיר) K is a set whose elements' keys are in the range [0,m-1]. Use a table of size m and store each element x in index x.key. Disadvantage: when |K| << m → waste of space A problem when |K| > m or repetitive keys Chaining (שרשור) h(k) = k mod m (This is an example of a common hash function) If h(k) is occupied, add the new element in the head of the chain at index h(k)

שאלה 3 נתון : טבלת גיבוב עם m=11 ופונקציות גיבוב h 1 (k) = k mod m h 2 (k) = (k mod (m-1)) + 1 הכניסו את האיברים הבאים לפי הסדר ( משמאל לימין ) 22, 1, 13, 11, 24, 33, 18, 42, 31 a. לטבלת גיבוב מבוססת שרשור, עם פונקציית גיבוב h(k)=h 1 (k).

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / / / Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / / / Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / / / h(22)=0 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / / h(22)=0 /22 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / / /22 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / / h(1)=1 /22 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / h(1)=1 /22 /1 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / /22 /1 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / / h(13)=2 /22 /1 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / h(13)=2 /22 /1 /13 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / /22 /1 /13 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / h(11)=0 /22 /1 /13 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / h(11)=0 11 /1 /13 /22 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / h(24)=2 11 /1 24 /22 /13 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / / h(33)=0 33 /1 24 /13 11/22 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / / h(18)=7 33 / /13 /22 /18 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / h(42)=9 33 / /13 /22 /18 /42 Chaining

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod 11 / / / / / / h(31)=9 33 / /13 /22 /18 31/42 Chaining

Hash Tables Open Addressing (מיעון פתוח)

שאלה 3 נתון : טבלת גיבוב עם m=11 ופונקציות גיבוב h 1 (k)=k mod m h 2 (k)=1+(k mod (m-1)) הכניסו את האיברים הבאים לפי הסדר ( משמאל לימין ) 22, 1, 13, 11, 24, 33, 18, 42, 31 a. לטבלת גיבוב מבוססת שרשור, עם פונקציית גיבוב h(k)=h 1 (k). b. לטבלת גיבוב מבוססת linear probing, עם אותה פונקציית גיבוב. c. לטבלת גיבוב מבוססת double hashing, עם פונקציית גיבוב ראשית h 1 (k) ופונקציית צעד h 2 (k).

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(22)=0 Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(22)=0 פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(22)=0 22 פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(1)=1 22 פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(1)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(13)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(13)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(11)= תפוס פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(11)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(24)= תפוס פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(24)= פנוי Linear Probing

תפוס שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(33)= תפוס פנוי תפוס Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(33)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(18)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(42)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(31)= פנוי תפוס Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h(k)=k mod h(31)= פנוי Linear Probing

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, 31 h 1 (k)=k mod Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (22)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, פנוי h 1 (22)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, פנוי h 1 (22)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (1)=1 22 פנוי h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, פנוי h 1 (1)=1 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (13)= פנוי h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, פנוי h 1 (13)=2 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10)

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, תפוס פנוי h 1 (11)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (11)=2

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, פנוי h 1 (11)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (11)=2

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (24)=2 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (24)=5 תפוס פנוי

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (24)=2 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (24)=5 פנוי

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (33)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (33)=4 תפוס פנוי

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (33)=0 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (33)=4 פנוי

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (18)=7 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (18)=9 תפוס פנוי

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (42)=9 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) פנוי

שאלה 3 22, 1, 13, 11, 24, 33, 18, 42, h 1 (31)=9 h 1 (k)=k mod 11 Double Hashing Step Function h 2 (k)=1+ (k mod 10) h 2 (31)=2 תפוס פנוי תפוס

שאלה 3 טבלת השוואה :

Hash Tables Average (expected) Search Time

Hash Tables

שאלה 4 בשאלה 3 השתמשנו, עבור טבלת גיבוב עם m=11, בפונקציית גיבוב ראשית h 1 (k)=k mod 11 ופונקציית צעד h 2 (k)= k mod a. האם ניתן היה להשתמש בפונקציה h 1 כפונקציית הצעד ובפונקציה h 2 כפונקציית הגיבוב ?

שאלה 4 a. האם ניתן היה להשתמש בפונקציה h 1 כפונקציית הצעד ובפונקציה h 2 כפונקציית הגיבוב ? תשובה : לא, כיוון ש -h 1 (k) עלול לקבל ערך 0, ואם התא כבר תפוס לא נוכל למקם את הערך החדש. לדוגמא, אם נכניס את הערך 1, ולאחר מכן ננסה להכניס את הערך 11, לא נוכל. בעיה נוספת היא ש -h 2 לא מקבלת את הערך 0. h 1 (k)= k mod 11 h 2 (k)= k mod

שאלה 4

אפשרי לא אפשרי

שאלה 4

שאלה 5

b. הציעו אלגוריתם בעל זמן ריצה יותר טוב בממוצע, ע " י שימוש בטבלת גיבוב בגודל m. תשובה : ראשית, נכניס את ערכי T לטבלת גיבוב ( מבוססת שרשור ). לאחר מכן, נחפש עבור כל ערך ב -S אם הוא כבר נמצא בטבלת הגיבוב.

שאלה 5

Hash Tables Bloom Filter פילטר בלום אינו מבנה נתונים, אלא מבנה שתומך במבנה נתונים חוסך חיפושים מיותרים במבנה הנתונים, שיכולים לקחת זמן רב אין false negative

שאלה 5

שאלה 6

b. כיצד ניתן לעשות זאת ב O(n)- זמן ממוצע ? פתרון : 1. בוחרים פונקציית גיבוב אוניברסלית h מקבוצת פונקציות גיבוב אוניברסליות H. 2. מכניסים את ערכי המערך לטבלת גיבוב בגודל n מבוססת שרשור ע " י פונקציית הגיבוב h. 3. עבור כל ערך A[i] במערך, נבדוק האם X-A[i] נמצא בטבלת הגיבוב. כפי שראיתם בשיעור, ע " י שימוש בפונקציית גיבוב אוניברסלית, זמן החיפוש של ערך בטבלת הגיבוב הינו O(1), ללא תלות בהתפלגות הערכים במערך. לכן זמן הריצה של האלגוריתם הינו O(n) בממוצע.

Question 7 Suppose we have n elements and a very good hash function. We have a hash table with m=n 1.5 double slots, that is, each hash table slot can hold two elements. We perform insert and search in the obvious manner, checking both slots if necessary, but we do not implement any collision resolution as in open addressing. Instead, we have an overflow linked list for those elements that do not fit. – This list accepts all overflow elements, regardless of where they come from. – Clearly, one must search the overflow list after having inspected a full slot. Show that the expected unsuccessful search time is O(1). In other words, show that the expected number of elements in the overflow list is O(1) – (Hint: look at the total number of triples of n elements, and what is the chance that the hash function takes a triple to the same slot).

Question 7 Solution: Number of triplets among n indices = Θ(n 3 ) The probability for two keys to fall into the same slot 1/m (why?) The probability of a triplet to fall into the same slot 1/m 2 m = n 1.5 so the average number of collisions which will cause a key to go into the overflow list is: Θ(n 3 )/m 2 = Θ(n 3 )/n 3 = O(1)

שאלה 8 בטבלת גיבוב מבוססת double hashing, בכל תא i בטבלה הוסיפו מונה c i, המונה את מספר המפתחות k שהוכנסו לטבלה עם h 1 (k)=i. a. כיצד ניתן להשתמש במונים אלו כדי ליעל את החיפוש בטבלה, במקרה של חיפוש לא מוצלח ? תשובה : נחפש באותו אופן, אולם נשמור את מספר המפתחות k’ עם h 1 (k’)=h 1 (k) שראינו. אם ראינו כבר c i מפתחות כאלו, נדע ש -h 1 (k) לא נמצא.

שאלה 8 a. כיצד ניתן להשתמש במונים אלו כדי ליעל את החיפוש בטבלה, במקרה של חיפוש לא מוצלח ? קוד :

שאלה 8 בטבלת גיבוב מבוססת double hashing, ללא מחיקות, בכל תא i בטבלה הוסיפו מונה c i, המונה את מספר המפתחות k שהוכנסו לטבלה עם h 1 (k)=i. a. כיצד ניתן להשתמש במונים אלו כדי ליעל את החיפוש בטבלה, במקרה של חיפוש לא מוצלח ? b. הראו דוגמה בה מספר הגישות לטבלה בחיפוש לא מוצלח יורד מ -n ל -2 ( ע " י שימוש בסעיף הקודם )

שאלה 8 דוגמה : נסתכל על טבלת גיבוב עם – m=7 – h 1 (k)=k mod 7 – h 2 (k)=1+(k mod 6) נכניס את המפתחות הבאים לפי הסדר ( משמאל לימין ) { -3, 3, 1, 8, 9, 12,21} כעת, חיפוש עבור 29 ייקח 2 קריאות מהטבלה, במקום 7.

שאלה 8 בטבלת גיבוב מבוססת double hashing, בכל תא i בטבלה הוסיפו מונה c i, המונה את מספר המפתחות k שהוכנסו לטבלה עם h 1 (k)=i. a. כיצד ניתן להשתמש במונים אלו כדי ליעל את החיפוש בטבלה, במקרה של חיפוש לא מוצלח ? b. הראו דוגמה בה מספר הגישות לטבלה בחיפוש לא מוצלח יורד מ -n ל -2 ( ע " י שימוש בסעיף הקודם ) c. האם ניתן להשתמש באלגוריתם הנ " ל גם בטבלת גיבוב מבוססת linear probing?

שאלה 8 c. האם ניתן להשתמש באלגוריתם הנ " ל גם בטבלת גיבוב מבוססת linear probing? תשובה : כן. ייתכן שגם במקרה זה נאלץ לבדוק את כל הכניסות בטבלה. האלגוריתם משפר את זמן החיפוש בצורה משמעותית אם הטבלה הינה דלילה.

שאלה 9 In Moshe's grocery store, an automatic ordering system that uses a Queue (FIFO) is installed. Whenever a client places an order, the order's data (product, quantity, client's name) are being inserted to the back of the Queue. Moshe is extracting orders from the front of the queue, handling them one by one. In order to avoid a scenario where the store runs out of some product, every time Moshe extracts an order from the front of the Queue, he would like to know the total quantity of the currently extracted product, summed over all of this product's orders in the Queue. Find a data structure that supports the following operations in the given time:

שאלה 9 1.Enqueue(r)-Inserting an order to the back of the queue, r = (product, quantity, client's name). Running time - O(1) on average. 2.Dequeue()-Extracting an order from the front of the queue. Running time - O(1) on average. 3.Query(p)-Returns the total quantity of the product p in the Queue - O(1) on average. It is known that there are n products in the grocery. The Queue may hold at most m orders at any given time. We know that m<n. The data structure may use O(m) memory.

שאלה 9 - פתרון Solution: We will use a Queue and a hash table with chaining of size O(m). Each element (in the linked list) contains a key – the product's name and another field – its quantity. Enqueue(r) – Insert the order to the back of the queue. Search for r.product in the hash table. If r.product is in the table, add r.quantity to the quantity field of the appropriate element. If not, insert r.product to the hash table and update its quantity. Dequeue() – Extract r from the front of the queue. Search for r.product in the hash table (it must be in it). Decrement the quantity field of the element by r.quantity. If the quantity is 0, remove the element from the hash table.

שאלה 9 - פתרון Solution: Query(p) – Look for p in the hash table. If p is in the table, return p.quantity else return 0. Notice that therefore, the running time of the three operations is O(1) in average.