1. הטיות בהערכת סיכונים Bias in Risk Assessment
יניב מרדכי
אוניברסיטת תל-אביב
הפקולטה להנדסה

2. רקע
ניהול סיכונים בפרויקטים מצריך הערכת סיכון איכותית, לצורך קבלת החלטות מבוססות נתוני סיכון.
הערכת הסיכון היא בד"כ סובייקטיבית, כלומר מבוססת על הערכותיהם של אנשי מקצוע ע"ס ניסיון ואינטואיציה, ולא אובייקטיבית או סטטיסטית.
ישנם גורמים שונים המביאים להטיות בהערכת סיכון ע"י אנשי מקצוע.

3. סיכון = התשובה לשלוש שאלות (ועוד אחת)
What can go wrong?
What is the likelihood?
What are the consequences?
Kaplan and Garrick (1981)
What is the time domain?
Haimes (1998)

4. סיכון = החלק הלא-רצוי של אי-הודאות
Probability Density Function
h(t)
Risk is about this part of uncertainty
Opportunity
אם נרצה להעריך את הסיכון באופן מתמטי/כמותי, עלינו להשתמש למעשה בפונקציית הסתברות.
יהי T משתנה מקרי כלשהו, עם פונקציית התפלגות כלשהי h(t). יש להבין שכדי שניתן יהיה לדבר במונחי סיכון, יש להציב למשתנה המקרי איזשהו ערך יעד t*.
T יכול להיות למשל משך של פעילות כלשהי בעל התפלגות אקראית, אך מה שמעניין אותנו זה של-T יהיה משך מסוים - לדוגמא t*.
איזור הסיכון מתייחס לאותו חלק מההתפלגות שגבוה מהערך של T*, בהנחה שהמטרה היא למזער את ערכו. אם יש אפשרות להגיע לערך קטן מערכו של T* איזור זה של אי-הודאות נקרא איזור ההזדמנות. במקום לדבר על ערכו של המשתנה המקרי, מעניין אותנו בעצם הסיכון היחסי על ערכו של המשתנה, ולכן נעבור התמרה לסקאלה של סיכון - כמוצג בשקף הבא. T c t
T ~ h(t)
Target Value

5. הערכת סיכון: אובייקטיבית/סובייקטיבית
“(Objective) Probability does not exist!”, De-Finetti (1937)
Subjective
Objective
Vs.
Art
Science
Intuition
Evidence
Relative
Absolute
Subjectivists
Frequentists

6. סיכון רב-מימדי עם חלופות להמרת סיכון בין יעדי הפרויקט
Alternative 1
Alternative 2
Alternative 3
Alternative 4

7. Bias in Risk Assessment

8. Information and knowledge gaps Modeling Bias Cognitive Bias
Sources of Bias
Information and knowledge gaps
Modeling Bias
Cognitive Bias
Strategic Bias
מכיוון שמדובר בהסתברויות סובייקטיביות, טבעי שיווצר שוני בין הערכות המתקבלות ממקורות שונים.
הפערים אמורים לנבוע בעיקר מפערי אינפורמציה וידע.כלומר אם למישהו יש מידע או שיטת הערכה מתוקפת שבאמצעותם הוא מעריך סביר להניח שההערכה שלו תהיה מדויקת יותר מהערכה של מישהו שמסתמך רק על ניסיון ,זיכרון או אינטואיציה.
יחד עם זאת יש עוד גורמים לשונות, או למעשה להטיה של הערכות מההערכה המושכלת ביותר שניתן להשיג, והם נובעים מסיבות שאינן נוגעות ישירות לטיב ההערכה. קיימים שני סוגי הטיות - הטיה קוגניטיבית והטיה אסטרטגית.

9. Information and Knowledge gaps
One assessor knows more than the other about a certain topic.
Information gaps are themselves risks, and information acquisition is a means to reduce risk
Information does not necessarily reduce uncertainty, but does reduce Uncertainty About Uncertainty

10. The Assessment Method leads to assessment bias. Method components:
Methodological Bias
The Assessment Method leads to assessment bias.
Method components:
Set space partitioning.
Resolution.
Diversity (over results, risks, objectives)
Predetermined aspects.
Focus.
Utility/Likelihood mixup

11. Move from target domain to risk domain.
Risk Modeling
Move from target domain to risk domain.
Goal: Minimize overall Project Risk, by selecting Risk handling strategies.
Measures of Risk:
Estimated Risk (NxN)
Expected Risk
Expected Disutility of Risk

12. Estimating Risk with 5x5 Risk Impact Grids (is wrong…)
The most popular risk assessment technique
Assess Likelihood Score.
Assess Severity Score.
Impact = Product of Scores
Color provides additional classification (low,medium,high,extreme)
Other variation: 3x3, 10x10
Scores are sometimes replaced by real values
Likelihood 5 10 15 20 25 4 8 12 16 3 6 9 2 1
Severity

13. Estimating Risk with 5x5 Risk Impact Grids (is wrong…)
Why this method is flawed:
“Bernoulli” Fallacy
How much is “1”,”2”,”3”,“4”,”5”?
What are we assessing (mean, mode, median)?
Score product is algebraically invalid.
Loss of information.
[Pennock & Haimes (2002), Williams (1996)]
Likelihood 5 10 15 20 25 4 8 12 16 3 6 9 2 1
Severity

14. Partitioned Multi-Objective Risk Analysis

15. The Fallacy of Averages: What Would Life Be Like If…
Highways were constructed to accommodate the average traffic load of vehicles or average weight.
Communication networks were sufficient to handle only the average data transfer rate.
Airports were designed to handle the average airliner traffic.
Emergency services were staffed to attend to the daily average number of emergency calls.

16. Eliciting Subjective Probabilities: The Fractile Method - Raiffa (1968)
Identify x0 and x100
Continue identifying the median for each half-range until sufficient precision is achieved
Identify x25 and x75 - medians of each half-range
Identify x50 - the median
Interpolate
Construct the assessment as a CDF, not as a PDF
1.00
0.75
0.50
כיצד מייצרים הערכה סובייקטיבית של התפלגות? לפי השיטה אותה הציע Raiffa ב-1968 הבניה היא של פונקציית ההתפלגות המצטברת, ולא של פונקציית הצפיפות. מחלקים את ציר ההסתברות ל-100 אחוזונים. מאתרים את התוצאות הקובעות את הטווח הישים. עבור כל טווח נותנים הערכה חציונית, כלומר הערכה המחלקת את הטווח באופן שווה מבחינה הסבתרותית - לאוו דווקא מבחינת התוצאות כמובן. עבור כל תת-טווח שנוצר מחלקים שוב באופן חציוני עד שמגיעים לחלוקה ברזולוציה הרצויה. את הנקודות שנקבעו מחברים באמצעות אינטרפולציה.
0.25
0.00 1 2 3 4 5 6 7 8 9 10

17. Risk Disutility
A Disutility Function quantifies the adverse effect of each possible deviation (from target value).
Disutility is similar to Utility
Complies with all Utility Theory axioms
Increases as deviation increases
Expected Disutility
The expectation of the disutilityfunction, the smaller the better.
The objective is to minimize Expected Disutility of Risk
לצורך הערכת עומק ועוצמת הסיכון אנחנו עושים שימוש בתורת התועלת שבאמצעותה ניתן למעשה להעריך את התועלת או במקרה שלנו חוסר התועלת מאירועים לא ודאיים. פונקציית תועלת או חוסר תועלת יכולה להיות לינארית ביחס לתוצאות של האירוע ויכולה להיות לא לינארית, באופן קעור או קמור, דבר שמשקף שנאת סיכון או אהבת סיכון.
חוסר תועלת היא בדיוק כמו תועלת רק שבעוד שתועלת עולה עם הרווח, חוסר-תועלת עולה עם הנזק.
תוחלת התועלת היא מדד שצריך להביא למינימום.

18. Research led by Tversky & Kahneman (1970’s-80’s).
Cognitive Bias
Stems from (mostly unaware) perceptional deviations, fallacies and deceptions.
Research led by Tversky & Kahneman (1970’s-80’s).
Some Cognitive Biases may be observed and fixed.
הטיות קוגניטיביות נחקרו רבות ע"י טברסקי, קאהנמן ואחרים בשנות ה-70 וה-80, מחקר ששילב בין פסיכולוגיה וסטטיסטיקה והינו חשוב מאד. הדוגמאות בתחום זה הן רבות - Availability - הטייה כתוצאה מזמינות הרושם בתודעת המעריך. לדוג' הערכה של סיכויים לתאונה ע"י מי שנחשף לתאונה. Anchoring - הטייה כתוצאה מהצמדות לערך עוגן כלשהו שהתיקון ממנו ביחס למצב המוערך לא מבוצע כנדרש. Base Rate Fallacy - הדוגמא הטובה ביותר היא הערכת סיכויים לחלות בסרטן השד בהתבסס על בדיקת ממוגרפיה.

19. Cognitive Bias - examples
Availability
Human tendency to base assessment on vivid memory.
Memorable experiences and impressions lead to exaggerated assessments.
Examples: car accidents, airplane crashes.
Size
We have difficulty grasping absolutely or relatively large numbers, and think more clearly in smaller numbers.
We tend to ignore the effects of the Law of Large Numbers, and refer to estimates from smaller samples as equally representative as estimates from larger ones, or even as better ones

20. Cognitive Bias - examples
Anchoring
Taking an initial assessment based on historical information, memory or cues, and adjusting it according to circumstances of the new assessment
Frequently insufficient to neutralize the initial anchor
Representativeness
Person relies on one estimate to make an assessment of some other correlated estimate.
Bias due to the intuitive attempt to rely on the inverse conditional probability as an anchor, and ignore the absolute probabilities of the events. (Bayes' Theorem)

21. Strategic Behavior Stems from personal cost/benefit considerations.
Appears in collaborative but non-cooperative settings.
Applications in Social Choice: Voting Scheme, Point Estimates and Single Peaked Preferences.
Assessment combination methods like Averaging and Bayesian Inference are vulnerable to Strategic Behavior.
הטייה אסטרטגית היא גם משהו שנחקר בשני היבטים - בתחום הבחירה החברתית - Social Choice - ישנם מנגנונים רבים לקיום של בחירות והצבעות באופן חסין לאסטרטגיה, כלומר להטייה מכוונת של הדעה המוצגת בכדי לזכות בעוד קולות.
המנגנונים הקיימים מתאימים בעיקר להערכות נקודתיות או לבחירה של פונקציות שלמות חד-פסגתיות, לדוגמא אם צריך לבחור בין מספר אלטרנטיבות למדיניות השקעה בתשתיות. הפונקציה הנבחרת תיבחר בשלמותה רק לפי הפסגה שלה.

22. Strategy-Proof Assessment
The Median of a set of scores is a strategy-proof assessment (Moulin 1980).
Game Theoretically, once the decision maker chooses the Median, no one gains benefit from being untruthful.
For a continuous/discrete distribution, the median assessment of the cumulative probability distribution per each point/quantile is strategy-proof
This is the MEDAS setting: Median Distribution Assessment Scheme.

23. Illustration: Multiple Assessments (CDF)
לפני שנוכיח, נמחיש את הרעיון שמאחורי המנגנון המוצע באמצעות דוגמא. מוצגות מספר פונקציות הערכה סובייקטיביות ואמפיריות במתכוון, שמהן יש ליצור הערכה מייצגת.

24. Illustration: Multiple Assessments +MEDAS (CDF)
כאן אנו מוסיפים את ההערכה המייצגת המורכבת מאוסף ההערכות החציוניות. הפונקציה שמתקבלת מחיבור כל נקודות ההערכה היא פונקציית התפלגות מצטברת חוקית ותקפה. ואפשר לראות אותה בשקף הבא -

25. Illustration: MEDAS
זוהי למעשה ההערכה המייצגת, היא מורכבת מחלקים שונים של פונקציות ההערכה השונות, כל פעם מהפונקציה שהיוותה חציון מבין ההערכות בנקודה X.

26. Illustration: PDF of MEDAS
מכאן ניתן לעשות שימוש בפונקציית הצפיפות לדוגמא לצורך חישוב התוחלת, תוחלת התועלת וכו'.

27. MEDAS - Illustration (1/3)
F1(0.4) higher than F2(0.4) is median, but causes greater disutility to assessor 1:
[M(0.4)-G1(0.4)]2>[F2(0.4)-G1(0.4)]2
Assessor 1’s best strategy:
F1* (0.4) ≤ F2(0.4)=M(0.4)
Weakly Sincere.
F2(0.4) >F1(0.4) > G1(0.4) is pointless. F2(0.4) will be median.
On x=0.4, G1(x) is below the candidate median range
Assessor 1 is confronted with the following situation and has to provide F1(x)
בגרף יש 3 מעריכים - 1,2,3. כאשר המעריך שאנו רואים את המשחק מנקודת מבטו הוא שחקן 1, וזאת כמובן ללא הגבלת הכלליות. בכל נקודת הערכה, שחקנים 2 ו-3 כבר נתנו את ההערכה שלהם וכעת, שחקן 1 נדרש לתת את ההערכה שלו בהתאם להערכות שלהם.
במצב הראשון, עבור X=0.4 שרירותית, אנו רואים שההערכה האמיתית של שחקן 1, G1 הכחולה, נמצאת מתחת לטווח החציוני, כלומר היא לא תהיה החציון, כלומר ההערכה המצרפית בנקודה 0.4 בכל מקרה תהיה שונה מההערכה האמיתית של שחקן 1, לכן כרגע כל מה שהוא יכול לעשות זה למזער את הנזק כלומר להביא למרחק מינימלי.
אם הוא יבחר ערך כלשהו מתחת ל-F2 זה למעשה לא ישפיע על החציון שיהיה F2. אם הוא יבחר מעל F2 אז אמנם הוא יזכה בזכות להיות החציון אבל זה רק יגדיל את המרחק בין ההערכה המצרפית לבין ההערכה הפרטית שלו, כלומר הוא עלול בידיו שלו להוביל להערכה הרבה יותר גבוהה ממה שהוא רצה וגם ממה שהוא היה יכול להשיג אילו היה נותן ל-F2 להיות החציון.
בסיכומו של דבר, במצב זה לא כדאי לשחקן 1 לשקר, אך הוא גם לא חייב להגיד רק את האמת אלא רק להמצא באותו צד של ההערכה האמיתית שלו. אנו מגדירים אסטרגיה זו כ"כנות חלשה".

28. MEDAS - Illustration (2/3)
F1(0.6)< F2(0.6) is median, but causes greater disutility to assessor 1:
[M(0.6)-G1(0.6)]2>[F2(0.6)-G1(0.6)]2
Assessor 1’s best strategy:
F1*(0.6) ≥ F3(0.6)=M(0.6)
Weakly Sincere.
F3(0.6) >F1(0.6) > G1(0.6) is pointless. F3(0.6) will be median.
On x=0.6, G1(x) is above the candidate median range
Assessor 1 is confronted with the following situation and has to provide F1(x)
בצד השני, עבור X=0.6, שוב שרירותית, G1 מעל הטווח, כלומר שוב היא לא תהיה החציון אלא F3, ובאותו אופן בדיוק כמו עבור X=0.4, אם שחקן 1 יתן הערכה מעל F3 זה לא ישפיע על ההערכה המצרפית, ואם הוא יתן מתחת ל-F3 אז ההערכה שלו תהיה אמנם ההערכה המצרפית אך היא תרחיק את ההערכה המצרפית עוד יותר מההערכה האמיתית של השחקן. לכן שוב האסטרטגיה של שחקן 1 היא "כנות חלשה".

29. MEDAS - Illustration (3/3)
Assessor 1’s best strategy:
F1*(0.5) = G1(0.5)=M(0.5)
Strongly Sincere.
F1(0.5)≠G1(0.5) is still median, but causes greater disutility to assessor 1:
[F1(0.5)-G1(0.5)]2>0
On x=0.5, G1(x) is within the candidate median range.
F1(0.5)=G1(0.5) is the median!
ב-X=0.5 ההערכה האמיתית של שחקן 1 היא דווקא כן החציון, ולכן כדאי לו להגיד את האמת, וגם לא כדאי לו לשקר, כי גם אם ההערכה שלו עדין תבחר להיות החציון, הרי שהמרחק בין ההערכה המצרפית להערכה האמיתית יהיה גדול מ-0 שהוא במקרה זה המרחק הקטן ביותר וגם הטוב ביותר שאפשר לבקש. במצב זה האסטרגיה המיטבית היא "כנות חזקה" - כלומר להגיד בדיוק את האמת.

30. MEDAS - characteristics
Works on CDF form (not PDF)
Relaxes “Single-Peakedness”.
Works for single point, quantile and continuous cases.
Always induces sincere behavior as dominant strategy
“Winning” (having one’s assessment elected to represent) is not the goal.
Does not require payoff considerations.
Does not repair cognitive bias.
מס' מאפיינים של המנגנון: כאמור עובד רק על CDF ולא על PDF, זאת בניגוד לשיטה כמו הממוצע שעובדת בשני המקרים.
אין צורך בהנחת הפסגה היחידה, ניתן לעבוד על התפלגויות בי-מודליות ואף יותר מורכבות.
תמיד כדאי להגיד רק את האמת - זוהי אסטרטגיה שולטת.
מעניין לראות שאין חשיבות ל"זכייה" - כלומר אין לשחקן אינטרס שהההערכה שלו תהיה החציונית ובכך תהיה המייצגת. זה שונה מהשימוש המסורתי במצביע החציוני לצורך עריכת בחירות או הצבעות, שכן שם למתמודד כן יש אינטרס להיבחר, כלומר שהפונקציה שלו תנצח.
תכונה חשובה של המנגנון היא שאין צורך בתגמול. התגמול בא לידי ביטוי דרך המרחק בין ההערכה המייצגת להערכה הפרטית. זאת בניגוד למנגנונים כמו Scoring Rules ששם יש להמתין לתוצאות כדי לתגמל בהתאם את המעריכים, לדוגמא בחיזוי מזג אויר.
התכונה האחרונה, שהיא בעצם לא תכונה אלא איזשהו חסר של המודל, היא שאינו מטפל בהטיה הקוגניטיבית. מצד שני לכך יש שיטות רבות ומגוונות מבית היוצר של עמוס טברסקי ודניאל קאהנמן שאותן אפשר להפעיל קודם לפרסום ההערכות ע"י המשתתפים.

31. Challenges Definition Assessment Decision making Implementation
Sources, targets, objectives, utility functions.
Assessment
Let each assessor assess the effect of each source on each target under each strategy
Conduct a strategy-proof assessment process
Decision making
Evaluate trade-off according to predefined preference relations.
Select optimal risk handling strategies
Implementation
Translate decisions to practical risk mitigation steps.
Monitor progress and effectiveness.
Iteration
Reassess and reevaluate
Repeat Risk Management Process

32. LEAN Risk Management The challenge:
To found an effective, successful and easy risk management process.
The response:
Conduct Risk Management workshops, based on the LEAN philosophy and methodology.
Bring all stakeholders together, extract all knowledge and information about uncertainty.
Conduct methodological analysis and assessment of risks.
Produce and execute a risk handling plan, with immediate effects.

33. Summary Risk Assessment - not what you thought!
High Fidelity Risk Assessment requires an initial effort, and continuous maintenance, but has clearly significant ROI.
Risk Assessment requires appropriate and valid methods and sometimes even professional risk analysis escort.
Risk management workshops are a constructive and effective way to produce quality risk assessments.

34. תודה!