1. כריית מידע -- מבוא
ד"ר אבי רוזנפלד

2. מה לומדים פה... אלגוריתמים של כריית מידע
להבין את המשמעות של הפלט (החוקים) של הלמידה
איך לייצר את החוקים (WEKA, SQL SERVER)
זה לא קורס בבסיסי נתונים (ACCESS)
בסיסי נתונים הם חלק, אבל רק חלק מהתהליך

3. Knowledge Discovery (KDD) Process
This is a view from typical database systems and data warehousing communities
Data mining plays an essential role in the knowledge discovery process
Pattern Evaluation
Data Mining
Task-relevant Data
Selection
Data Warehouse
Data Cleaning
Data Integration
Databases

4. Data Mining in Business Intelligence
Increasing potential
to support
business decisions
End User
Decision Making
Data Presentation
Business
Analyst
Visualization Techniques
Data Mining
Data
Analyst
Information Discovery
Data Exploration
Statistical Summary, Querying, and Reporting
Data Preprocessing/Integration, Data Warehouses
DBA
Data Sources
Paper, Files, Web documents, Scientific experiments, Database Systems

5. תהליך של כריית מידע

6. שלב הראשון – להבין את הסביבה
איזה מידע יש במערכת? האם זה מספיק?
האם המידע הסתברותי? האם יש LABEL (מידע אובייקטיבי)
Fraud in credit card, fraud in Machon tests
מה המחיר לאסוף עוד מידע (Certainty level)

7. הכנת המידע – איך המידע מאוחסן
קובץ EXCEL (הפורמט שאני אוהב)
ACCESS
SQL, ORACLE, SPSS, MATHLAB וכו'

8. בניית המודל
רוב הקורס– האלגוריתמים בשקפים הבאים...

9. ניצול החוקים יישום החוקים, הסקת מסקנות, הדרכה וכו'
גילוי של מאפיינים חדשים ולמידה מחדש וכו'

10. האלגוריתמים של כריית מידע
Classification – קלסיפיקציה – C4.5
Regression - רגרסיה – polynomial, logistic, SVM
Clustering – מיקבוץ – k-NN, k-means
Co-occurrence – collaborative filtering
Information Retrieval – PageRank
Probabilistic models – Bayes, Naïve Bayes

11. שיטות למידה - Supervised
Decision Trees – finding cancer

12. שיטות למידה - Unsupervised
Clustering (k=11)

13. ההבדל בין כריית מידע ושאילתות
בשאלתה אתה בערך יודע מה אתה מחפש:
SELECT * FROM CUSTOMERS WHERE AGE > 45
בכריית מידע אתה מחפש משהו ואתה לא יודע מראש מה!
SELECT ??? FROM CUSTOMERS WHERE ???

14. דוגמאות מי מכר הכי הרבה פריטים בתוך החברה (שאילתה)
איזה פריטים נמכרו הכי הרבה (שאילתה)
האם יש תלות מאיזור המכירה והפריטים שנמכרו שם? (כריית מידע)
איך ניתן לנבא כמה נמכור באיזור XXX בעוד שנה? (כריית מידע-- רגרסיה)
איך ניתן לנבא אם פריט Y יהיה רווחי (כריית מידע רגרסיה / קלסיפיקציה)
איך ניתן לנבא איזה זוגות של פריטים שווה למכור ביחד (כריית מידע clustering, association)