Data Driven Brain Tumor Segmentation in MRI Using Probabilistic Reasoning over space and Time Jeffery Solomon, John A. Butman, and Arun Sood MICCAI 2004 4D Lesion Detection Using Expectation-Maximization and Hidden Markov Model Jeffery Solomon, John A, Arun Sood ISBI 2004

Problem Statement סיווג שיטות הסגמנטציה המחקר עוסק בסגמנטציה של סידרת תמונות 3D בזמן – 4D data set. לצורך מעקב אחר lesions והערכת נפחם סיווג שיטות הסגמנטציה Spatial methods Temporal methods combination

methods for lesion volume calculations Spatial Methods Greatest diameter Greatest diameter multiplied by greatest perpendicular diameter Manual lesion tracing Computer based automated techniques to segment the lesion and calculate volume Temporal methods הפרשים בין תמונות עוקבות בזמן. זיהוי שינוי ע"י הערכת שדה ההעתקה. שימוש ב- pixel based temporal analysis לזיהוי lesions.

Tools used by the algorithm GMM – Gaussian Mixture Model מודל המניח כי התפלגות ההסתברות עבור רקמה מסוג מסוים הינה התפלגות גאוסיינית. בהתאם היסטוגרמת התמונה ניתנת להצגה כסכום של התפלגויות גאוסייניות (GMM). בהינתן הפרמטרים של כל גאוסיין, ניתן להעריך את הסתברות הפיקסל להיות שייך לרקמה מסוג מסוים

Tools used by the algorithm - cont EM – Expectation Maximization משמש להערכה איטרטיבית של פרמטרי הגאוסיאנים ב- GMM. אתחל את פרמטרי הגאוסיינים (means, SD, amplitude). E step: חשב את הסתברות כל פיקסל j להיות מסוג רקמה i. M step: בהתחשב בהסתברויות החדשות שהתקבלו ב- E step, חשב את פרמטרי הגאוסיינים החדשים.

Tools used by the algorithm - cont HMM – Hidden Markov Model אלגוריתם שנועד ל"קבלת החלטות" עבור בעיות המתהוות בזמן. כלומר בעיות בהן מצב t מושפע ממצב t-1 (עבור מודל מסדר ראשון). במודל זה מוגדרים מספר פרמטרים והסתברויות לצורך תיאור הבעיה. הפרמטרים w(t)=wi – מצב המערכת בזמן t למערכת יתכנו מספר מצבים (דיסקרטיים) אפשריים. למשל w1=lesion, w2=non-lesion

HMM – Hidden Markov Model - Cont Transition probability ההסתברות למעבר בין מצב אחד לאחר. במודל מסדר 1 ההסתברות למצב המערכת ב- t+1 תלויה אך ורק במצב המערכת במצב t. דוגמה לסדרת מצבים של המערכת: W6=[w1,w1,w3,w1,w2,w3]

HMM – Hidden Markov Model – Cont observable vs. unobservable parameters w(t) – unobservable parameter v(t) - observable parameter (for instance pixel intensity) דוגמה לסדרת ערכים בזמן עבור המשתנה הויזואלי v(t): v6=[v1, v2, v2, v3, v3, v3]

HMM – Hidden Markov Model – Cont ההסתברות לפליטת משתנה ויזואלי מסוים, vk(t) קיימת ההנחה שההסתברות לקבלת ערך מסוים עבור v(t) תלויה אך ורק במצב המערכת במצב t. בנוסף קיימות הדרישות:

HMM – Hidden Markov Model – Cont 3 central issues The evaluation problem בהינתן HMM, כלומר כל ההסתברויות aij,bjk, קבע את ההסתברות לכך שרצף מסוים של מצבים נראים, VT, התקבל ע"י המודל. The decoding problem בהנתן HMM וכן רצף , VT, קבע את רצף המצבים, wT, בעל ההסתברות הגבוהה ביותר שעברה המערכת. The learning problem בהנתן מספר המצבים האפשריים ומספר הפרמטרים הויזואליים האפשריים וכן מספר סטים של VT, קבע את הפרמטרים aij,bjk.

Motivation Research Hypothesis אחד ממאפייני lesions (גידולים למשל) הוא השתנותם המהירה בזמן, בהשוואה לרקמה הבריאה. לכן מידע בזמן עשוי לשפר סגמנטציה המתקבלת משיטות מרחביות בלבד. Research Hypothesis שימוש משולב במאפייני זמן ומאפייני מרחב של ה- 4D Image set ישפר את הסגמנטציה האוטומטית של ה- lesions בסדרת הזמן בהשוואה לשיטות temporal או spatial.

Methods MR scaner Automatic Registration Automatic De-skulling 4D tumor segmantation Tumor report generation

4D Lesion Segmentation Using Probablistic Reasoning over Space and Time אלגוריתם ה- EM מיושם על כל תמונה תלת מימדית בסדרת הזמן. האלגוריתם מאותחל ע"י k-means clustering מתקבלת הערכה של פרמטרי הגאוסיאנים המתארים את התפלגות הפיקסלים עבור סוג רקמה כולל רקמת הגידול בכל תמונה תלת מימדית. (bjk) התפשטות ה- lesion ממודלת כהתפשטות מעריכית (aij) נעשה שימוש במידע זה ע"י HMM להערכת סיווג הווקסל בתמונה.

The Algorithm נניח שלכל ווקסל ב- data set ה- 4D יכולים להיות 2 מצבים: w1=lesion, w2=non-lesion מצב המערכת (lesion/non lesion), המיוצג במודל זה כ- Xt, הוא unobservable. ערך ה- Intensity של הפיקסל, המיוצג במודל זה ע"י Et, הוא observable. נניח הנחת HMM מסדר 1 לפיה ניתן לקבוע את המצב הקיים באופן מוחלט עפ"י המצב הקודם. כאן לדעתי מתוקנת טעות שלהם במאמר עבור המשוואה האחרונה. Transition Model Sensor Model

Reminder – the HMM tool במערכת (לווקסל) 2 מצבים בלבד. lesion/non-lesion Observable: Unobservable:

The Algorithm - cont The transition probabilities evaluation using EM Xt(0)=w1 – מצב בו הפיקסל הוא lesion. Xt(1)=w2 – מצב בו הפיקסל הוא non-lesion. המקדם α המשמש לסכום את ההסתברויות ל- 1

The Algorithm - cont the Sensor probabilities evaluation using exponential lesion growth model Inside the lesion Outside the lesion Δt – time between pictures. γ – rate of exponential growth

The Algorithm – cont filtering מחושבת באופן רקורסיבי הסתברות הווקסל בנקודת זמן t להיות במצב lesion/non lesion בהסתמך על ה- Intensity של הפיקסל עד לנקודת זמן זו . מתקבלת הערכת הסיווג הראשוני עבור הפיקסל. באופן רקורסיבי האלגוריתם עובר ממצב t למצב t+1 וההסתברות הסיווג מחושבת שוב עבור הזמן הבא באמצעות המידע החדש Et+1 ובאמצעות המידע שחושב כבר בזמן t.

The Algorithm – cont smoothing מתהליך נוסף הקרוי smoothing. מתקבלת הערכה מחודשת של Xk (k=1:t) בהינתן Xk עד לנקודת זמן t+1. הדבר ישפר תיאורטית את ההערכות של מצבים אלו ע"י ניצול האינפורמציה הנוספת שהתקבלה.

The Algorithm - cont first estimate of the lesion border יש צורך בהערכה ראשונית של גבול ה- lesion עבור הסריקה הראשונה בסדרה. הערכה זו בוצעה ע"י הרצת אלגוריתם ה- EM על נקודת הזמן הראשונה ושימוש ב- manual tracing להגבלת ה- false positive results. התיקון הסמי-אוטומטי מבוצע על התמונה הראשונה בסדרת הזמן בלבד.

Report Generation תוצאת האלגוריתם היא סידרת תמונות הסתברות, כאשר ה- intensity של ווקסל מייצגת את הסתברותו להיות גידול. למטרות קלסיפיקציה, כל ווקסל שהסתברותו להיות גידול הייתה מעל 0.5, סווג כגידול. נפח של ווקסלים המוערך כגידול מחושב. מתקבל מידע לגבי נפח הגידול המוערך לאורך זמן.

Results & Discussion Previous work נערכה השוואה בין 2 אלגוריתמים על תמונות סימולציה שהופקו בעזרת GMM: אלגוריתם משולב של EM ו- HMM אלגוריתם EM כמות ה- False positives יורדת באופן משמעותי. התקבלה עליה הן ברגישות והן בספציפיות הזיהוי, עבור מידע הסימולציה. לשיטה יתרונות גם על conditional temporal methods – למשל היכולת לזהות lesion המשתנה לאט בזמן. ניתן לראות שרקמת הגידול גדלה עם הזמן והאחרות נותרות זהות.

Results & discussion – current work נלקח מידע רפואי מ- 5 נבדקים שעברו כל אחד 3 סריקות MRI לאורך זמן. נערכה השוואה בין manual tracings לבין השיטה המדוברת לצורך הערכת נפח הגידול בזמן

Results & discussion – current work VAlgorithm vs. Vmanual ישנה הבדלה בין נקודת הזמן הראשונה לבין 2 האחרות בשל היותה מבוססת באופן חלקי על manual tracing

Results & discussion – curent work - cont תמונת הגידול אחרי העיבוד המקדים ולפני הסיגמנטציה דוגמה לסיגמנטצית האלגוריתם האוטומטי. ניתן לראות התאמה לגידול שגבולותיו מסומנות בקו (Manual tracing)

Conclusion מהשוואה בין פעולת האלגוריתם על סדרות של תמונות סימולציה. התקבל שבשיטה זו מתקבל דיוק סגמנטציה טוב יותר מאשר השימוש ב- EM לבדו. ההתאמה בין ה- manual scans לבין האלגוריתם הייתה טובה. לשיטה זו גם יתרונות על שיטות change detection שכן ע"י שילוב בין temporal ל- spatial, השיטה תגלה גידולים גם אם הם אינם משתנים בזמן באופן ניכר. בסיומו של האלגוריתם מתקבל מידע על שינוי נפח הגידול בזמן, מה שמאפשר הערכת התפתחות הגידול ובהתאם החלטה על הטיפול הקליני הדרוש.