به نام خداوند جان و خرد الگوکاوي در پايگاه‌هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم وحل Frequent Pattern Mining on Very Large Transaction Databases.

به نام خداوند جان و خرد الگوکاوي در پايگاه‌هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم وحل Frequent Pattern Mining on Very Large Transaction Databases Using Divide-and-Conquer Approach دانشگاه صنعتي اميرکبير دانشکده مهندسي کامپيوتر دانشجو: محمد کريم سهرابي استاد راهنما: احمد عبداله زاده بارفروش (استاد) ارديبهشت 1391

فهرست مطالب تعريف مساله رهيافت هاي جاري براي حل مساله كارهاي مرتبط
رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي الگوكاوي سريال (افقي- عمودي از پايين به بالا- عمودي از بالا به پايين) الگوكاوي موازي كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچك و متوسط نتيجه گيري و كارهاي آينده مراجع

تعريف مساله الگو مدل مشخصي از داده در پايگاه تراكنش (پايگاه داده)
ساختارهای گوناگونی از داده‌ها (مجموعه داده، رشته، گراف، ...) انواع الگوهاي مهم مجموعه آيتم ها توالي ها گراف ها 4 4

تعريف مساله مجموعه آيتم ها مجموعه آيتم (itemset): هر زير مجموعه X از I
5 5

تعريف مساله تراكنش تراكنش: يك چندگانه به فرم T=(tid, X)
تراكنش شامل مجموعه آيتم Y: تراكنش T=(tid, X) كه در آن پايگاه تراكنش: مجموعه چند تراكنش مجموعه پشتيباني تراكنش X (D(X)): مجموعه شماره سطرهاي تراكنش هاي شامل X Sup(X): تعداد تراكنش هاي موجود در مجموعه پشتيبانيX 6 6

تعريف مساله تراكنش مثال: نمونه پايگاه تراكنش فروشگاه با سه تراكنش
تراكنش هاي 1 و 3 شامل مجموعه آيتم {پنير} تراكنش 1 شامل مجموعه آيتم {پنير، خامه} مجموعه پشتيباني {پنير}: {1,3} Itemset tid پنير، خامه، نان 1 تخم مرغ 2 نان، پنير 3 7 7

به كار بردن واژه هاي الگو و مجموعه آيتم به جاي هم در ارائه
تعريف مساله تكرارشوندگي (frequency) آستانه زيربري (minsup): حد آستانه مورد نظر كاربر مجموعه آيتم تكرارشونده: مجموعه آيتم X با شرط مثال: به ازاي minsup = 2 {پنير}: تكرارشونده {پنير، خامه}: ناتكرارشونده (تكرارناشونده) به كار بردن واژه هاي الگو و مجموعه آيتم به جاي هم در ارائه 8 8

تعريف مساله الگوهاي بسته (closed Pattern)
الگوي بسته : عدم وجود ابر الگويي از الگو با همان مجموعه پشتيباني مثال: {پنير}: الگوي نابسته مجموعه پشتيباني {پنير}: {1و 3} مجموعه پشتيباني {پنير، نان}: {1و 3} مثال: {نان، پنير}: الگوي بسته الگوي تكرار شونده بسته: الگوي تكرارشونده و بسته مثال: {نان، پنير}: الگوي تكرارشونده بسته بر اساس minsup=2 مثال: {خامه، پنير}: الگوي ناتكرارشونده بسته بر اساس minsup=2 9 9

تعريف مساله فرضيات مساله
كاوش الگوهاي تكرارشونده از پايگاهي از تراكنش هاي هم جنس (مثال: تراكنش هاي فروش) عدم وجود داده هاي خراب و غير قطعي در پايگاه تراكنش عدم تغيير و به روزرساني پايگاه تراكنش در زمان الگوكاوي 10 10

رهيافت هاي جاري براي حل مساله
کاوش مجموعه آيتم هاي تكرارشونده به ازاي d آيتم موجود در I، 2^d مجموعه آيتم روش سردستي (Naïve) ساخت همه مجموعه آيتم هاي ممكن مقايسه آنهابا همه تراکنش‌هاي موجود در پايگاه تراکنش شمارش تعداد تراکنش‌هاي مشتمل بر مجموعه آيتم مزبور مشخص نمودن مجموعه آيتم‌هاي تكرارشونده مرتبه نمايي تعداد مجموعه آيتم‌ها امکان وجود هزاران آيتم در پايگاه‌ تراکنش مورد استفاده 12 12

شبکه اي از همه مجموعه آيتم هاي ممکن به ازاي 5 آيتم {A, B, C, D, E} مثالي از شبکه بندي زيرمجموعه‌اي A B C D E AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE ABCD ABCE ABDE ACDE BCDE ABCDE null 13 13

انواع روش هاي كاوش بر اساس رويكرد جستجو الگوريتم‌هاي اول سطح (Apriori) شروع از نود راس شبکه توليد مجموعه آيتم‌هاي کانديد هر سطح از مجموعه آيتم هاي تكرار شونده سطح قبل تست تكرار شوندگي مجموعه آيتم‌هاي کانديد هر سطح الگوريتم‌هاي اول عمق (FP-Growth) ساخت درخت آيتم ها بر اساس پايگاه تراكنش جستجوي عمقي درخت 14 14

اصل Apriori عدم وجود ابرالگوي تكرارشونده از يک الگوي ناتكرارشونده الگوريتم Apriori: يافتن الگوهاي تكرار شونده يك آيتمي (آيتم هاي تكرار شونده) ساخت مجموعه الگوهاي كانديد تكرارشوندگي kآيتمي از روي مجموعه الگوهاي تكرار شونده (k-1)آيتمي تست تكرارشوندگي آنها با پويش پايگاه تراكنش مثال: يافتن مجموعه آيتم هاي تكرارشونده در پايگاه تراکنش زير (TDB) و با حد آستانه S=3 L1: مجموعه همه مجموعه آيتمهاي تكرارشونده تک آيتمي L1={a, b, c, f, m, p} Tid Itemsets 100 f, a, c, d, g, i, m, p 200 a, b, c, f, l, m, o 300 b, f, h, g, o 400 b, c, k, s, p 500 a, f, c, e, l, p, m, n 15 15

C2={ab,ac,af,am,ap,bc,bf,bm,bp,cf,cm,cp,fm,fp,mp} L2={ac, af, am, cf, cm, fm} C3={acf, acm, afm} L3={acf, acm, afm} C4={} L4={} Tid Itemsets (ordered) Frequent Itemsets 100 f, a, c, d, g, i, m, p a, c, f, m, p 200 a, b, c, f, l, m, o a, b, c, f, m 300 b, f, h, g, o b, f 400 b, c, k, s, p b, c, p 500 a, f, c, e, l, p, m, n 16 16

Apriori معايب حجم بسيار زياد الگوهاي کانديد ايجاد شده در مقايسه با الگوهاي تکرار شونده (مرتبه نمايي) پويش چندين باره پايگاه تراکنش (در هر مرحله يک پويش) 17 17

FP-Growth ساخت درخت FP-Tree: 1- يک بار پويش پايگاه تراکنش به منظور يافتن آيتم هاي تکرارشونده و مرتب کردن آيتم هاي يافته شده بر اساس ترتيب نزولي تعداد تکرار L={f:4, c:4, a:3, b:3, m:3, p:3} 2- مرتب کردن هر تراکنش بر اساس ترتيب مشخص شده و حذف آيتم هاي تکرارناشونده از هر تراکنش 18 18

FP-Growth TID Items 100 {f, a, c, d, g, i, m, p} {a, b, c, f, l, m, o} 300 {b, f, h, j, o} 400 {b, c, k, s, p} 500 {a, f, c, e, l, p, m, n} Item frequency f 4 c 4 a 3 b 3 m 3 p 3 TID Items (ordered) frequent items 100 {f, a, c, d, g, i, m, p} {f, c, a, m, p} 200 {a, b, c, f, l, m, o} {f, c, a, b, m} 300 {b, f, h, j, o} {f, b} 400 {b, c, k, s, p} {c, b, p} 500 {a, f, c, e, l, p, m, n} {f, c, a, m, p} 19 19

FP-Growth {} {} f:1 f:2 {f, c, a, b, m} {f, c, a, m, p} {} c:1 c:2 a:1 a:2 m:1 m:1 b:1 p:1 p:1 m:1 20 20

FP-Growth {} {} {} f:3 c:1 f:3 f:4 c:1 {f, b} {c, b, p} {f, c, a, m, p} c:2 b:1 b:1 c:2 b:1 c:3 b:1 b:1 a:2 p:1 a:2 a:3 p:1 m:1 b:1 m:1 b:1 m:2 b:1 p:1 m:1 p:1 m:1 p:2 m:1 21 21

FP-Growth {} Header Table Item head f c a b m p f:4 c:1 c:3 b:1 b:1 a:3 p:1 m:2 b:1 p:2 m:1 22 22

FP-Growth مزايا ساخته شدن درخت كامل با دو پويش بر روي پايگاه فشرده سازي پايگاه تراكنش براي كاوش 23 23

FP-Growth به كار گيري درخت FP-Tree براي الگوكاوي عمقي: کاوش FP-tree به روش تقسيم و حل {} {} {} f:4 c:1 f:4 c:1 f:4 c:1 c:3 b:1 b:1 fc:3 fb:1 b:1 fc:3 fb:1 b:1 a:3 p:1 fa:3 p:1 fca:3 p:1 m:2 b:1 fm:2 fb:1 fcm:2 fcb:1 p:2 m:1 fp:2 fm:1 fcp:2 fcm:1 24 24

كارهاي مرتبط انواع الگوريتم هاي كاوش بر اساس رويكرد جستجو 26 26

كارهاي مرتبط انواع الگوريتم هاي كاوش الگوهاي بسته 29 29

كارهاي مرتبط 30 30 ‍Comments ‍horizontal/ vertical Parallel Bit-wise
Closed/Maximal/All/ Colossal Top-Down/ Bottom-Up BFS/DFS The First Author year Algorithm name The first BFS Algorithm horizontal No All BFS Agarwal 1993 Apriori Brin 1997 DIC The first DFS Algorithm DFS Han 2000 FP-Growth Agrawal 2001 Tree-Projection Bi directional Liu 2003 opportunistic projection The first vertical Algorithm vertical Zaki Equivalence CLAss Transformation (ECLAT) The first Closed Algorithm Closed Pasquier 1999 A-Close Pei CLOSET 2002 CHARM Wang CLOSET+ Grahne FPClose AFOPT The first Bit-wise Algorithm Yes Closed/Maximal/All Burdick MAFIA Lin Granular Method Dong 2007 BitTableFI Song Index-BitTableFI Schlegel 2011 CFP-Tree The first DFS parallel method Javed 2004 PFP-Tree Yu LFP-Tree Tanbeer 2010 PP-Tree 30 30

رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي
شکل 2-1. درخت واره مراحل تکامل الگوریتم رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي منطق روش بيتي وجود یک آیتم در یک تراکنش معادل یک بودن بیت متناظر آن و عدم وجود معادل صفر بودن در صورت وجود n آیتم در پایگاه تراکنش، هر تراکنش یک رشته n بیتی در یک پایگاه تراکنش با m تراکنش، پایگاه تراکنش معادل یک ماتریس m*n بیتی نگهداری مجموع یک های سطرها در قالب آرایه rowsum نگهداری مجموع یک های ستونها در قالب آرایه colsum 32 32

شکل 2-1. درخت واره مراحل تکامل الگوریتم رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي 33 33

شکل 2-1. درخت واره مراحل تکامل الگوریتم رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي هرس کردن ماتریس بیتی حذف همه ستونهایی که colsum آنها کمتر از minsup است. اصلاح مقادیر rowsum پس از حذف 34 34

شکل 2-1. درخت واره مراحل تکامل الگوریتم رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي تعیین تکرارشوندگی یک الگو با استفاده از ماتریس بیتی: cd تکرارشونده و بقیه ناتکرارشونده به ازای minsup=3 35 35

شکل 2-1. درخت واره مراحل تکامل الگوریتم رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي تعيين بسته بودن الگوها: - 36 36

شکل 2-1. درخت واره مراحل تکامل الگوریتم
الگوكاوي سريال رويكرد هاي كاوش افقي و عمودي رویکرد افقی: هر پایگاه تراکنش شامل تعدادی تراکنش (سطرهاي پايگاه تراكنش) هر تراكنش شامل تعدادی آیتم 38 38

الگوكاوي سريال رويكرد هاي كاوش افقي و عمودي رویکرد عمودي: نگهداري آیتم ها بر اساس مجموعه تراکنش هایی (شماره تراکنش هايي) که دارای آن آيتم هستند مثال: {c, 1,2,4} {d, 1,2,3,4} پايگاه هاي تراكنش ابعاد بالا (high dimensional) 39 39

الگوكاوي سريال رويكرد هاي كاوش افقي و عمودي رویکرد عمودي: درخت عمودي از پايين به بالا درخت عمودي از بالا به پايين 40 40

الگوكاوي سريال رويكرد هاي كاوش افقي و عمودي درخت عمودي: از پايين به بالا 41 41

الگوكاوي سريال رويكرد هاي كاوش افقي و عمودي درخت عمودي: از بالا به پايين 42 42

الگوكاوي سريال HPM: الگوكاوي بيتي افقي تعريف: رابطه شمول x: قضيه: افراز هر مجموعه از الگوهاي تكرارشونده به دو مجموعه بر اساس آيتم x نتيجه: تقسيم خروجي (مجموعه الگوهاي تكرارشونده) به n دسته n: تعداد آيتم هاي تكرارشونده موجود در پايگاه تراكنش فرض: مجموعه مرجع I شامل n+m آیتم n آیتم تکرار شونده m آیتم ناتکرارشونده I={a1,a2,..,an,an+1,…,an+m} 43 43

الگوكاوي سريال HPM: الگوكاوي بيتي افقي مجموعه همه الگوهای تکرارشونده قابل کاوش : دسته اول: الگوهای تکرار شونده مشتمل بر آیتمa1. دسته دوم: الگوهای تکرار شونده مشتمل بر آیتم a2 و فاقد آیتم a1 دسته سوم: الگوهای تکرار شونده مشتمل بر آیتم a3 و فاقد آیتم a1 و a2 ... دسته (n-1)ام: الگوهای تکرار شونده مشتمل بر an-1و فاقد آیتم های a1 و a2 و... و an-2 نباشند. دستهnام: الگوهای تکرار شونده مشتمل بر آیتم an باشند ولی حاوی آیتم های a1 و a2 و... و an-1 نباشند(یعنی الگوی تك آيتميan ). 44 44

الگوكاوي سريال HPM: الگوكاوي بيتي افقي (تعاريف) ماتريس ستوني مرتب: ماتريس بيتي با ستونهاي (آيتم‌هاي) مرتب شده بر اساس يک معيار مشخص ماتريس بدون x(x-eliminated): تنها شامل سطرهايي که مقدار ستون متناظر با آيتم x، در آنها برابر 1 باشد تنها شامل ستونهاي بعد از x از ماتريس ستوني مرتب ماتريس بدون y از x (x|y-eliminated) 45 45

الگوكاوي سريال HPM: الگوكاوي بيتي افقي ماتریس بدون a 46 46

الگوكاوي سريال HPM: الگوكاوي بيتي افقي (روش انجام) به ازای هر آیتمx : ماتریس بدونx را به دست آوریم. ماتریس بدون a (هرس نشده): 47 47

الگوكاوي سريال HPM: الگوكاوي بيتي افقي (روش انجام) هر الگوي استخراج شده از اين ماتريس شامل a است كاوش الگوهاي تكرارشونده شامل a يعني: استخراج الگوهاي ماتريس بدون a و ترکيب آنها با a. ستونهايي که colSum متناظر آنها از minsup کمتر باشد نمي‌توانند در ساخت الگو شرکت کنند: هرس ماتريس بدون a بر اساس minsup 48 48

الگوكاوي سريال HPM: الگوكاوي بيتي افقي (روش انجام) هرس ماتريس بدون a بر اساس minsup 49 49

الگوكاوي سريال HPM: الگوكاوي بيتي افقي ماتريس هاي هرس شده در عمق a قابل تولید بودن ماتريسy|x-eliminated xy یک الگوی تکرارشونده است ادامه روند توليد در اين شاخه تولید ماتريس خالي يا NULL شدن در اثر هرس توقف فرآیند کاوش الگوی این زیرشاخه 50 50

الگوكاوي سريال HPM: الگوكاوي بيتي افقي 51 51

الگوكاوي سريال HPM: الگوكاوي بيتي افقي الگوهاي شامل a (دسته اول الگوها) به صورت مشابه: الگوهاي شامل b: الگوهاي شامل c: ... 52 52

الگوكاوي سريال HPM: الگوكاوي بيتي افقي مجموعه همه الگوهاي كاوش شده : 53 53

الگوكاوي سريال HPM: الگوكاوي بيتي افقي فشرده سازي فايل خروجي: قضيه: اگر x1x2x3…xn يك الگوي تكرارشونده باشد آنگاه x1 و x1x2 و x1x2x3 و ... و x1x2x3…xn همگي الگويي تكرار شونده اند. نتيجه: فايل خروجي: 54 54

الگوكاوي سريال HPM: الگوكاوي بيتي افقي (الگوريتم) 55 55

الگوكاوي سريال HPM: الگوكاوي بيتي افقي پيچيدگي زماني:
شکل 2-1. درخت واره مراحل تکامل الگوریتم الگوكاوي سريال HPM: الگوكاوي بيتي افقي پيچيدگي زماني: در بدترين حالت: O(n*2n) تاثیر نحوه مرتب سازی آیتم‌ها بر سرعت کاوش الگوها: تغییر ترتیب و چینش آیتم‌ها : افزایش يا كاهش کارایی ترتیب چينش: ترتيب صعودی فرکانس تکرار آیتم‌ها 56 56

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (مثال) درخت جستجوي عمودي از پايين به بالا 57 57

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (مراحل) ساخت درخت جستجوي از پايين به بالا AND كردن رشته بيتي معادل سطرهاي موجود در هر نود درخت در صورت رسيدن به سطح minsup درخت : در صورت وجود حداقل يك بيت با مقدار يك در حاصل AND اعلام الگوي متناظر با رشته بيتي به عنوان الگوي تكرارشونده 58 58

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (بهينه سازي) با توجه به اصل Apriori هرس كردن شاخه هاي پس از سطح minsup 59 59

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (بهينه سازي) با توجه به اصل Apriori هرس كردن شاخه هاي پس از سطح minsup نتيجه: درخت جستجوي جديد 60 60

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (مراحل اجرا) 61 61

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (الگوريتم) الگوريتم ساخت درخت 64 64

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (الگوريتم) الگوريتم ساخت درخت ايجاد نود جديد با افزودن يك شماره سطر به مجموعه سطر نود جاري از بزرگترین شماره سطر موجود در مجموعه سطر نود تا آخرین (بزرگترین) شماره سطر موجود در پایگاه تراکنش ورودي: اولین شماره سطر بعد از بزرگترین شماره سطر موجود در نود جاری با نام m بزرگترین شماره سطر پایگاه تراکنش با نام max رشته S شامل مجموعه سطر متناظر با هر نود. 65 65

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از پايين به بالا (الگوريتم) پيچيدگي الگوريتم: O(mminsup) 66 66

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از بالا به پايين(مثال) درخت جستجوي عمودي از بالا به پايين 67 67

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از بالا به پايين(مراحل اجرا) ايجاد درخت جستجوي از بالا به پايين مجموعه سطر هر نود داراي یک سطر کمتر از مجموعه سطر نود پدر در آرایه بیتی متناظر: یک شدن برخی از (شاید صفر تا) بیت‌های صفر آرایه بیتی پدر کم کردن آرایه بیتی متناظر با سطر حذف شده از مجموع ستونی (colSum) نود پدر 68 68

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از بالا به پايين(مراحل اجرا) 69 69

الگوكاوي سريال BUM: الگوكاوي بيتي عمودي از بالا به پايين(مراحل اجرا) پيچيدگي زماني: O(mm-minsup) 70 70

الگوكاوي سريال نتايج آزمايشات datasets size Transactions# Items# D1 3.93M 100000 870 D2 15.12M 942 mushroom 0.56M 8124 119 pumsb 16.3M 49046 2113 Accident 33.8M 340183 468 Retail 3.97M 88162 16469 kosarak 30.5M 990002 41270 71 71

الگوكاوي سريال نتايج آزمايشات مجموعه داده D1 72 72

الگوكاوي سريال نتايج آزمايشات مجموعه داده D2 73 73

الگوكاوي سريال تحليل نتايج آزمايشات كاهش زمان اجرا با افزايش minsup افزايش زمان اجرا با افزايش تعداد آيتم ها افزايش زمان اجرا با افزايش متوسط طول تراكنش ها datasets size Transactions# Items# D1 3.93M 100000 870 D2 15.12M 942 74 74

الگوكاوي سريال نتايج آزمايشات مجموعه داده Accident 75 75

الگوكاوي سريال نتايج آزمايشات مجموعه داده Retail 76 76

الگوكاوي سريال نتايج آزمايشات مجموعه داده kosarak 77 77

الگوكاوي سريال نتايج آزمايشات مقايسه سه روش بر روي مجموعه داده D1 78 78

الگوكاوي سريال نتايج آزمايشات مقايسه سه روش بر روي مجموعه داده D2 79 79

الگوكاوي سريال نتايج آزمايشات مقايسه سه روش بر روي مجموعه داده mushroom 80 80

الگوكاوي سريال نتايج آزمايشات مقايسه سه روش بر روي مجموعه داده pumsb 81 81

الگوكاوي موازي آرایه‌های سیستالیک ابزاری برای موازی سازی الگوریتم‌ها و پردازش‌ها ارائه توسط H.T.Kung و Charles Leiserson در سال 1979 چینش پردازنده‌ها به نحوی که داده‌های به صورت همزمان در پردازنده‌های مجاور جریان داشته باشد هر مرحله انجام عملیات توسط سلول‌ها (پردازنده‌ها): يك تپش آرایه سیستالیک مزايا: محاسبه همزمان و ذخیره سازی مستقل داده توسط سلول‌ها 83 83

الگوكاوي موازي آرایه‌های سیستالیک به كارگيري آرايه هاي سيستاليك در پايگاه هاي داده رابطه اي ارائه آرايه سيستاليك براي عمليات در پايگاه داده رابطه اي (1980): پايپلاين كردن عملياتي از قبيل اجتماع، اشتراك، الحاق و ... پياده سازي عمليات جبر رابطه اي و درهم سازي با استفاده از آرايه هاي سيستاليك 84 84

الگوكاوي موازي آرایه‌های سیستالیک به كار رفته در الگوكاوي هر سلول داراي يک حافظه x : ذخيره آرايه بيتي متناظر با يک آيتم يک حافظه m : ذخيره نام يک آيتم يک حافظه z : يک بيت يک بودن بيت z : وجود آيتم اين سلول در الگوي ساخته شده صفر بودن بيت z : عدم وجود اين آيتم در الگوي ساخته شده 85 85

الگوكاوي موازي آرایه‌های سیستالیک به كار رفته در الگوكاوي هر سلول داراي هر سلول داراي يک ورودي y شامل سه قسمت يک مجموعه آيتم -y(Is)- در ابتدا تهي يک آرايه بيتي متحرک –y(array)- در ابتدا يك آرايه تمام 1 يک بيت سوئيچ است -y(sw)- در ابتدا مقدار 1 دارد. هر سلول دو خروجي a و b دارد. 86 86

الگوكاوي موازي ساخت الگوها با آرايه سيستاليك اگر y(sw)=1 اگر z=1 y(array) AND x = y(array). z = 0 y(Is)= m U y(Is) y->a * ->b اگر z=0 y(sw) = 0 z = 1 87 87

الگوكاوي موازي ساخت الگوها با آرايه سيستاليك اگر y(sw)=0 اگر z=1 y(array) AND x = y(array). y(Is)= m U y(Is) y->a * ->b اگر z=0 88 88

الگوكاوي موازي مثال وضعيت اوليه گذر اول 89 89

الگوكاوي موازي مثال گذر اول- مرحله دوم گذر اول- مرحله سوم 90 90

الگوكاوي موازي مثال: تعداد تپش ها: n+2n 91 91

الگوكاوي موازي اعمال روش تقسيم و حل
شکل 2-1. درخت واره مراحل تکامل الگوریتم الگوكاوي موازي اعمال روش تقسيم و حل اگر ورودي اوليه آرايه سيستاليك شامل a باشد: توليد همه خروجي هاي مشتمل بر a 92 92

الگوكاوي موازي اعمال روش تقسيم و حل آرايه سيستاليك دو بعدي 93 93

الگوكاوي موازي نتايج آزمايشات datasets size Transactions# Items# mushroom 0.56M 8124 119 pumsb 16.3M 49046 2113 Accident 33.8M 340183 468 Retail 3.97M 88162 16469 kosarak 30.5M 990002 41270 94 94

الگوكاوي موازي نتايج آزمايشات مجموعه داده mushroom 95 95

الگوكاوي موازي نتايج آزمايشات مجموعه داده pumsb 96 96

الگوكاوي موازي نتايج آزمايشات مجموعه داده Accident 97 97

الگوكاوي موازي نتايج آزمايشات مجموعه داده Retail 98 98

الگوكاوي موازي نتايج آزمايشات مجموعه داده kosarak 99 99

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر
شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر الگوهاي بسيار بزرگ (colossal) بزرگترين الگوهاي تكرارشونده موجود در پايگاه تراكنش الگوهاي تكرارشونده اي كه از اندازه مشخص شده توسط كاربر بزرگتر باشند كاربرد در پايگاه هاي تراكنش با ابعاد بالا اطلاعات زيستي پايگاه هاي داده ژني 101 101

شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر قضیه: فرکانس تکرار ابر الگوی هر الگو کمتر یا مساوی فرکانس تکرار آن الگو نتيجه مستقيم: الگوهای بزرگتر دارای فرکانس تکرار کمتری نسبت به زیرالگوهای خود نتيجه كاربردي: جستجوي الگوهاي colossal در مجموعه الگوهایی که کمترین فرکانس تکرار را دارند کمترین فرکانس تکرار قابل پذیرش برای الگوهای تکرار شونده: minsup روش عمودی از پایین به بالا 102 102

شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر قضيه: طولاني ترين شاخه شامل نود q در درخت از پايين به بالاي عمودي برابر p+m-ap است كه در آن p سطح q، m تعداد سطرها، و ap بزرگترين شماره سطر موجود در q است. نودهای سطح p، دارای p شماره سطر زیردرخت شروع شده از نودq دارای m-apسطح بلندترین زیر شاخه شامل q داراي: p سطح تا نود q و m-ap سطح بعد از نود q در مجموع دارای p+m-ap سطح 103 103

شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر هرس كردن همه زیرشاخه‌هایی که به سطحminsup نمی رسند 104 104

شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر مثال: بلندترین زیر شاخه شامل نود 16 دارای طول 2 p یعنی سطح نود 16 برابر 2، ap یعنی بزرگترین شماره سطر موجود در 16 برابر 6، m یعنی تعداد سطرهای پایگاه تراکنش برابر 6 به دست آوردن آخرین سطح قابل دست یابی از هر نود پیش از بسط آن نود آخرین سطح قابل دست یابی کمتر از minsup : هرس شدن همه زير شاخه هاي نود 105 105

شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر روش BVBUC 106 106

شکل 2-1. درخت واره مراحل تکامل الگوریتم كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر نتايج آزمايشات datasets size Transactions# Items# mushroom 0.56M 8124 119 pumsb 16.3M 49046 2113 Accident 33.8M 340183 468 Retail 3.97M 88162 16469 kosarak 30.5M 990002 41270 107 107

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر نتايج آزمايشات مجموعه داده mushroom 108 108

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر نتايج آزمايشات مجموعه داده pumsb 109 109

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر نتايج آزمايشات مجموعه داده Accident 110 110

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر نتايج آزمايشات مجموعه داده Retail 111 111

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر نتايج آزمايشات مجموعه داده kosarak 112 112

نتيجه گيري و كارهاي آينده
شکل 2-1. درخت واره مراحل تکامل الگوریتم نتيجه گيري و كارهاي آينده دست یابی به دستاوردهای زیر در زمینه الگوکاوی 1) کاوش کارآمد مجموعه کامل الگوهای تکرارشونده به صورت سریال با رویکرد افقی با ارائه الگوریتم HPM. 2) کاوش کارآمد مجموعه کامل و بسته الگوهای تکرارشونده به صورت سریال با رویکرد از عمودی با دیدگاه از پایین به بالا با ارائه الگوریتم BUM 3) کاوش کارآمد مجموعه کامل و بسته الگوهای تکرارشونده به صورت سریال با رویکرد از عمودی با دیدگاه از بالا به پايين با ارائه الگوریتم TDM. 114 114

شکل 2-1. درخت واره مراحل تکامل الگوریتم نتيجه گيري و كارهاي آينده دست یابی به دستاوردهای زیر در زمینه الگوکاوی 4) طراحی بستر مناسب برای مدل سازی مساله الگوکاوی به محاسبات موازی شونده توسط آرایه‌های سیستالیک با به کار گیری ماتریس بیتی و تقسیم مناسب آن بر روی پردازنده‌ها. 5) اعمال قابلیت تقسیم وحل در موازی سازی الگوکاوی و ارائه روش موازی و مبتنی بر آرایه‌های سیستالیک دو بعدی SABMA برای الگوکاوی. 6) ارائه روشی کارآمد برای کاوش الگوهای بسیار بزرگ بدون کاوش الگوهای کوچکتر، بدون نیاز به زمینه محاسباتی پیچیده و بدون از دست داده قطعیت در مجموعه الگوهای کاوش شده و ارائه الگوريتم BVBUC. 115 115

شکل 2-1. درخت واره مراحل تکامل الگوریتم نتيجه گيري و كارهاي آينده برخي دستاوردهای پژوهشي رساله 1) به كارگيري روش هاي الگوكاوي در مسائل كاربردي: مقاله علمي پژوهشي: ”افزايش كارايي پرس و جوهاي پايگاه داده تحليلي با نگاشت مكعب مفهومي به فضاي دوبعدي“ پذيرفته و چاپ شده در مجله مهندسي برق و كامپيوتر ايران 2) ارائه روش از پايين به بالاي عمودي مقاله كنفرانس: ” الگوكاوي در پايگاه هاي تراكنش با ابعاد بالا بر اساس رويكرد شمارش از پايين به بالاي ماتريس بيتي“ پذيرفته و ارائه شده دركنفرانس انجمن كامپيوتر ايران 3) به كارگيري روش پايين به بالاي عمودي در كاوش الگوهاي بسيار بزرگ بدون كاوش الگوهاي كوچك و مياني مقاله مجله ISI: “Efficient colossal pattern mining in high dimensional datasets” پذيرفته شده و چاپ شده در مجله Knowledge based Systems (Knosys) از سري مجلات elsevier 116 116

شکل 2-1. درخت واره مراحل تکامل الگوریتم نتيجه گيري و كارهاي آينده برخي دستاوردهای پژوهشي رساله 4) ارائه روش افقي مبتني بر ماتريس بيتي مقاله مجله ISI: “EFFICIENT FREQUENT PATTERN MINING USING BIT MATRIX BASED REPRESENTATION OF DATASET” بازبيني شده و در شرف پذيرش در مجله International Journal of Software Engineering and Knowledge Engineering 5) موازي سازي الگوكاوي با استفاده از آرايه هاي سيستاليك مقاله مجله ISI: “PARALLEL FREQUENT ITEMSET MINING USING SYSTOLIC ARRAYS” در دست داوري در مجله Knowledge based Systems (Knosys) از سري مجلات elsevier 6) بررسي روش هاي جاري الگوكاوي و دسته بندي آنها بر اساس رويكردي جديد و چهارسطحي مقاله مجله ISI: “A taxonomy of frequent pattern mining” در دست داوري در مجله International Journal of Knowledge Management 117 117

شکل 2-1. درخت واره مراحل تکامل الگوریتم نتيجه گيري و كارهاي آينده كارهاي آينده فشرده سازی ماتریس بیتی در مواردی که ماتریس تولید شده تنک باشد و شامل تعداد زیادی بیت صفر. اعمال موازی سازی در لایه‌های زیرین و مراحل بعدی روش تقسیم و حل و ایجاد ابعاد بعدی برای آرایه سیستالیک. اعمال موازی سازی بر روي روش‌های عمودی ارائه شده با به کارگیری آرایه‌های سیستالیک. 118 118

مراجع M.K. Sohrabi, A.A. Barforoush, Efficient colossal pattern mining in high dimensional datasets, Knowledge Based Systems (2012), Agrawal R, Imielinski T, Swami A (1993) Mining association rules between sets of items in large databases. In: Proceedings of the 1993ACM-SIGMOD international conference on management of data (SIGMOD’93), Washington, DC, pp 207–216. Agrawal R. and Srikant R. “Fast algorithms for mining association rules.” In Proc Int. Conf. Very Large Data Bases (VLDB’94), pages 487–499, Santiago, Chile, Sept Mannila H., Toivonen H., Verkamo AI (1994) Efficient algorithms for discovering association rules. (KDD'94) Seattle, WA, pp Han J, Pei J, Yin Y (2000) Mining frequent patterns without candidate generation. In: Proceeding of the 2000 ACM-SIGMOD international conference on management of data (SIGMOD’00), Dallas, TX, pp 1–12 Agarwal R, Aggarwal CC, Prasad VVV (2001) A tree projection algorithm for generation of frequent itemsets. J Parallel Distribut Comput 61:350–371 120 120

مراجع Liu J, Pan Y, Wang K, Han J (2002) Mining frequent item sets by opportunistic projection. In: Proceeding of the 2002 ACM SIGKDD international conference on knowledge discovery in databases (KDD’02), Edmonton, Canada, pp 239–248 Grahne G, Zhu J (2003) Efficiently using prefix-trees in mining frequent itemsets. In: Proceeding of the ICDM’03 international workshop on frequent itemset mining implementations (FIMI’03), Melbourne, FL, pp 123–132 G. Buehrer, S. Parthasarathy, S. Tatikonda, T. Kurc and J. Saltz, "Toward terabyte pattern mining an architecture-conscious solution," in PPoPP , 2007, p D. Chen, C. Lai, W. Hu, W.G. Chen, Y. Zhang and W. Zheng, "Tree partition based parallel frequent pattern mining on shared memory systems," in IEEE Parallel and Distributed Processing Symposium , 2006. S. K. Tanbeer, C. F. Ahmed, B.-S. Jeong, "Parallel and Distributed Algorithms for Frequent Pattern Mining in Large Databases", IETE technical review, 2010. J. Dong, M. Han, BitTableFI: an efficient mining frequent itemsets algorithm, Knowledge Based Systems 20 (4) (2007) 329–335 W. Song, B. Yang, Z. Xu, Index-BitTableFI: An improved algorithm for mining frequent itemsets, Knowledge Based Systems 20 (4) (2007) 329–335 Z. Xu, D. Gu, S. Wei, An Efficient Matrix Algorithm for Mining Frequent Itemsets, (2009) International Conference on Computational Intelligence and Software Engineering, CiSE 2009. Schlegel B., Gemulla R., Lehner w. (2011) Memory-Efficient Frequent Itemset Mining, in: Proc. 14th International Conference on Extending Database Technology (EDBT), 2011. 121 121

اصلاحات صورت گرفته بر اساس راهنمايي هاي پيش دفاع
شکل 2-1. درخت واره مراحل تکامل الگوریتم اصلاحات صورت گرفته بر اساس راهنمايي هاي پيش دفاع بيان فرمال مسائل با استفاده از ارائه تعاريف و قضاياي جديد بررسي دقيق تر سابقه به كارگيري آرايه هاي سيستاليك در پايگاه هاي داده و داده كاوي تكميل و ارائه دقيق تر مفروضات مساله در ابتداي ارائه بيان پيچيدگي زماني روش هاي ارائه شده در ارائه كامل كردن نتايج آزمايشات با ارائه تحليل نتايج و بيان تاثير پارامترهاي پايگاه هاي داده بيان دقيق نوآوري هاي رساله در ارائه و جداسازي آنها از كارهاي پيشين ارائه مراجع مورد استفاده جديدتر در ارائه ويرايش املايي و انشايي پايان نامه افزودن دستاوردهاي پژوهشي و مقالات مستخرج از رساله به ارائه دسته بندي اسلايدها و كاهش حجم اسلايدهاي ارائه 122 122

سپاس 123 123

به نام خداوند جان و خرد الگوکاوي در پايگاه‌هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم وحل Frequent Pattern Mining on Very Large Transaction Databases.

Similar presentations

Presentation on theme: "به نام خداوند جان و خرد الگوکاوي در پايگاه‌هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم وحل Frequent Pattern Mining on Very Large Transaction Databases."— Presentation transcript:

Similar presentations

About project

Feedback

Log in

Auth with social network:

به نام خداوند جان و خرد الگوکاوي در پايگاه‌هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم وحل Frequent Pattern Mining on Very Large Transaction Databases.

Similar presentations

Presentation on theme: "به نام خداوند جان و خرد الگوکاوي در پايگاه‌هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم وحل Frequent Pattern Mining on Very Large Transaction Databases."— Presentation transcript:

Similar presentations

About project

Feedback