מריוס הרשקוביץ

תוכן רקע רקע שיטות ואלגוריתמים שיטות ואלגוריתמים תוצאות תוצאות

Image binarization, image thresholding – זהו השלב הראשון בעיבוד המסמך. Image binarization, image thresholding – זהו השלב הראשון בעיבוד המסמך. Input : תמונת gray scale Output : תמונה בינארית Input : תמונת gray scale Output : תמונה בינארית בשלב זה מחליטים לגבי כל פיקסל האם הוא שייך לרקע או לטקסט. בשלב זה מחליטים לגבי כל פיקסל האם הוא שייך לרקע או לטקסט. היכולות של אלגוריתמי הזיהוי בשלבים המאוחרים יותר מושפעות מאיכות ההפרדה בין התווים לרקע שמבוצעת בשלב זה. היכולות של אלגוריתמי הזיהוי בשלבים המאוחרים יותר מושפעות מאיכות ההפרדה בין התווים לרקע שמבוצעת בשלב זה.

דוגמאות לבעיות שפוגעות באיכות המסמכים דוגמאות לבעיות שפוגעות באיכות המסמכים אותיות מודגשות בצבעים שונים אותיות מודגשות בצבעים שונים כתמים על גבי המסמך כתמים על גבי המסמך איכות כתב נמוכה איכות כתב נמוכה צללים על גבי המסמך בגלל רמת תאורה נמוכה בזמן לכידת תמונת המסמך צללים על גבי המסמך בגלל רמת תאורה נמוכה בזמן לכידת תמונת המסמך

שימושים עיבוד אוטומטי של צ ' קים עיבוד אוטומטי של צ ' קים חיפוש מסמכים באינטרנט חיפוש מסמכים באינטרנט זיהוי לוחיות רישוי זיהוי לוחיות רישוי זיהוי תויות על גבי דיסקים זיהוי תויות על גבי דיסקים עיבוד מפות עיבוד מפות Video conference Video conference זיהוי צורות וכתב בשרטוטים הנדסיים זיהוי צורות וכתב בשרטוטים הנדסיים מערכות אוטומטיות למיון דואר מערכות אוטומטיות למיון דואר

Global thresholding threshold אחיד לכל התמונה threshold אחיד לכל התמונה הפרדה בין טקסט או אובייקט לבין הרקע תוך שימוש במידע לגבי רמות האפור בכל התמונה בלבד הפרדה בין טקסט או אובייקט לבין הרקע תוך שימוש במידע לגבי רמות האפור בכל התמונה בלבד פיקסלים עם רמת אפור גדולה מה - threshold שייכים לרקע פיקסלים עם רמת אפור גדולה מה - threshold שייכים לטקסט פיקסלים עם רמת אפור גדולה מה - threshold שייכים לרקע פיקסלים עם רמת אפור גדולה מה - threshold שייכים לטקסט

Global thresholding - השגות Global thresholding - השגות חפיפה בין ההיסטוגרמות של הרקע ושל הטקסט חפיפה בין ההיסטוגרמות של הרקע ושל הטקסט רקע לא אחיד בעל כמה רמות אפור רקע לא אחיד בעל כמה רמות אפור

Global thresholding Otsu ’ s method על פי המקורות זאת השיטה המתקדמת ביותר ל - global thresholding על פי המקורות זאת השיטה המתקדמת ביותר ל - global thresholding השיטה מעריכה את טיב ה - threshold ובוחרת threshold אופטימלי השיטה מעריכה את טיב ה - threshold ובוחרת threshold אופטימלי

Global thresholding Otsu ’ s method - המשך רמות האפור בתמונה : [1,2, …,L] רמות האפור בתמונה : [1,2, …,L] n i – מספר הפיקסלים עם רמת אפור i n i – מספר הפיקסלים עם רמת אפור i N=n 1 +n 2 + … n L – סה"כ הפיקסלים בתמונה N=n 1 +n 2 + … n L – סה"כ הפיקסלים בתמונה p i =n i /N p i =n i /N מחלקים את הפיקסלים לשתי קבוצות : C 0 =[1, …,k] – פיקסלים השייכים לטקסט או לאובייקטים C 1 =[k+1, …,L] - פיקסלים השייכים לרקע מחלקים את הפיקסלים לשתי קבוצות : C 0 =[1, …,k] – פיקסלים השייכים לטקסט או לאובייקטים C 1 =[k+1, …,L] - פיקסלים השייכים לרקע

Global thresholding Otsu ’ s method - המשך קריטריונים להערכת הטיב – מיקסום של אחת הפונקציות הבאות - השונות בתוך הקבוצות - השונות בין הקבוצות - השונות הכללית

Global thresholding Otsu ’ s method - המשך - הסתברות הופעת הקבוצה - תוחלת הקבוצה

Global thresholding Otsu ’ s method - המשך - שונות הקבוצה לסיכום – בוחרים k * שנותן מקסימלי

Global thresholding Otsu ’ s method – Global thresholding Otsu ’ s method – תוצאות מהמאמר

Global thresholding Otsu ’ s method – Global thresholding Otsu ’ s method – הבטים נוספים ה - המקסימלי ( ) מהווה מדד ליכולת ההפרדה בין הקבוצות ולסיבוכיות התמונה ה - המקסימלי ( ) מהווה מדד ליכולת ההפרדה בין הקבוצות ולסיבוכיות התמונה, 0 כאשר יש רמת אפור אחת בלבד בתמונה ו -1 כאשר יש שתי רמות אפור בלבד בתמונה, 0 כאשר יש רמת אפור אחת בלבד בתמונה ו -1 כאשר יש שתי רמות אפור בלבד בתמונה ככל ש יותר נמוך התמונה יותר מסובכת ככל ש יותר נמוך התמונה יותר מסובכת

Recursive Global Thresholding שיטת Otsu טובה כאשר יש בתמונה שתי קבוצות (2 peaks בהיסטוגרמה ). כאשר יש בתמונה יותר משתי קבוצות השיטה מתקשה לפעול שיטת Otsu טובה כאשר יש בתמונה שתי קבוצות (2 peaks בהיסטוגרמה ). כאשר יש בתמונה יותר משתי קבוצות השיטה מתקשה לפעול שיטת Recursive Otsu הינה הרחבה של השיטה של Otsu. שיטת Recursive Otsu הינה הרחבה של השיטה של Otsu. השיטה מפעילה את האלגוריתם של Otsu שוב ושוב כאשר בכל פעם הפיקסלים שגבוהים מה - threshold הופכים לרקע (255) והפיקסלים שנמוכים מה - threshold נשארים השיטה מפעילה את האלגוריתם של Otsu שוב ושוב כאשר בכל פעם הפיקסלים שגבוהים מה - threshold הופכים לרקע (255) והפיקסלים שנמוכים מה - threshold נשארים התהליך ממשיך עד אשר אין יותר peaks בתמונה או עד שהאזורים הופכים קטנים מידי התהליך ממשיך עד אשר אין יותר peaks בתמונה או עד שהאזורים הופכים קטנים מידי

Recursive Global Thresholding - המשך מצא את הסטוגרמת התמונה המקורית השתמש בשיטת Otsu כדי לחשב את th ו - SP SP<0.95 הפוך את הפיקסלים שגדולים מה - th לרקע מצא את ההסטוגרמה של התמונה כולל הרקע הלבן השתמש בשיטת Otsu כדי לחשב את th ו - SP SP<0.95 התמונה מכילה את האוביקט האחרון מצא את ההסטוגרמה של התמונה ללא הרקע הלבן כן לא

Global thresholding Otsu ’ s method Recursive – Global thresholding Otsu ’ s method Recursive – תוצאות מהמאמר

Global thresholding Otsu ’ s method Recursive – Global thresholding Otsu ’ s method Recursive – סיכום השיטה פותרת את הבעיה של מספר רמות אפור ברקע השיטה פותרת את הבעיה של מספר רמות אפור ברקע השיטה עדיין מתקשה לפעול כאשר יש התלכדות בין רמות האפור של הכתב והרקע השיטה עדיין מתקשה לפעול כאשר יש התלכדות בין רמות האפור של הכתב והרקע

Local thresholding תכונות התווים אותם רוצים לזהות התווים בעלי רמות אפור נמוכות יותר מהפיקסלים שבשכנותם התווים בעלי רמות אפור נמוכות יותר מהפיקסלים שבשכנותם השינויים ברמות האפור בתוך התו מוגבלים השינויים ברמות האפור בתוך התו מוגבלים התווים הם דקים ובעלי עובי נמוך מערך מסויים התווים הם דקים ובעלי עובי נמוך מערך מסויים הגבולות של התו הם בעלי contrast מקומי גדול יותר מזה של הרקע הגבולות של התו הם בעלי contrast מקומי גדול יותר מזה של הרקע

Local thresholding - המשך האלגוריתם עבור כל פיקסל (x,y) בתמונה F בוחרים threshold (T(x,y)): עבור כל פיקסל (x,y) בתמונה F בוחרים threshold (T(x,y)): T(x,y)=(F max (x,y)+F min (x,y))/2 השווה לממוצע של הערך הגדול ביותר והערך הקטן ביותר בסביבה r*r מסביב לפיקסל (x,y). השווה לממוצע של הערך הגדול ביותר והערך הקטן ביותר בסביבה r*r מסביב לפיקסל (x,y). r הוא העובי של הקו הקונטרסט המקומי מחושב על פי ההפרש בין המינימום והמקסימום המקומיים : הקונטרסט המקומי מחושב על פי ההפרש בין המינימום והמקסימום המקומיים : C(x,y)=F max (x,y)-F min (x,y)

Local thresholding - המשך בינאריזציה t = Otsu(C(x,y)) t = Otsu(C(x,y))

Local thresholding – תוצאות מהמאמר

Local thresholding – סיכום יתרון השיטה פועלת גם כאשר הכתב הוא לא האובייקט בעל רמת האפור הנמוכה ביותר בתמונה השיטה פועלת גם כאשר הכתב הוא לא האובייקט בעל רמת האפור הנמוכה ביותר בתמונהחסרון מתקשה לפעול עם רקע המשתנה במהירות מתקשה לפעול עם רקע המשתנה במהירות

Logical level technique קובעים את עובי הקוים - W קובעים את עובי הקוים - W משווים את הערך של כל פיקסל עם ערך הממוצע המקומי של ארבעה אזורים שכנים בגודל (2W+1)x(2W+1) משווים את הערך של כל פיקסל עם ערך הממוצע המקומי של ארבעה אזורים שכנים בגודל (2W+1)x(2W+1) אם הערך של הפיקסל הוא נמוך ב - T רמות מכל ארבעת האזורים, אז הוא שייך לכתב אם הערך של הפיקסל הוא נמוך ב - T רמות מכל ארבעת האזורים, אז הוא שייך לכתב

Logical level technique – תוצאות מהמאמר

שיטות להערכת הטיב של האלגוריתמים שיטות סובייקטיביות : שיטות סובייקטיביות : יכולת דחיית הרקע יכולת דחיית הרקע המשכיות הקוים המשכיות הקוים יכולות הזיהוי של אלגוריתמים מאוחרים המוזנים על ידי ה - output של האלגוריתמי הבינאריזציה יכולות הזיהוי של אלגוריתמים מאוחרים המוזנים על ידי ה - output של האלגוריתמי הבינאריזציה שיטות אובייקטיביות : שיטות אובייקטיביות : זמן עיבוד זמן עיבוד זכרון זכרון מספר הפרמטרים מספר הפרמטרים סיבוכיות קביעת הפרמטרים סיבוכיות קביעת הפרמטרים

Otsu ’ s method k = 81 eta =

Otsu ’ s method k = 143 eta =

Recursive Otsu ’ s method

Local threshold method

תמונה מקורית Otsu ’ s method Local thresholding Recursive Otsu k = 206 eta =