הספר ״רעש: הפגם בכושר השיפוט האנושי וכיצד אפשר להתגבר עליו״ נכתב בשנת 2021 על ידי חתן פרס נוהל לכלכלה דניאל כהנמן יחד עם אוליביה סיבוני וקאס סאנסטיין. הספר דן בתופעה שמסתבר שהיא משמעותית הרבה יותר בהיקפה משהיינו מצפים: שגיאות בשיפוט האנושי, הנובעות מ ״רעש״,. רעש הינן שגיאות לא צפויות של אנשים, בתהליך קבלת החלטות מקצועיות: שופטים, רופאים, שמאים, מנהלים, מגייסי עובדים, עובדים סוציאליים הממליצים על משמורת לילדים בעת פרידה, ועוד.
על פי רוב, אנחנו חושבים ששגיאות השיפוט שלנו הן בגדר ״עמק הנורמלי״, ואם יש חריגה משמעותית, נתחקר אותה כדי להבין את הנסיבות שהובילו אליה. העניין הוא שהנורמלי המציאותי, הוא במקרים רבים משמעותי למדי, ואנחנו יכולים לראותו בעין, רק כאשר בוחנים סטטיסטית קבוצה גדולה של שיפוטים.
נושאים עיקריים בהם דן הספר:
הסיכום כולל נקודות מרכזיות, וכמובן אינו יכול להקיף את רוחב או עומק המוצג במקור. האבחנה למשל בין שיפוטי ניבוי והערכה אינה מוצגת, כמו גם החלטות סינגולריות, שיפוטי קליני ועוד. הנושאים שנבחרו לטובת הסיכום, מטרתם להציג בדרך מפשטת את הרעיונות המרכזיים של הספר.
כמו בספריו האחרים של כהנמן, גם כאן מוצגות תובנות חשובות ביותר, שאמורות לגרום לכל ארגון לבחון כיצד הוא משפר את דרכי פעילותו. היום.
בסיס: מהו רעש בשיפוט אנושי?
כאשר אנחנו מקבלים החלטות, ייתכנו שני מצבים:
א. שההחלטה הייתה נכונה
ב. שההחלטה הינה שגיאה
כאשר משמיעים דעה, לגיטימי ורצוי שיהיה גיוון בדעות המביעות ערכים, עמדות, תפיסות וטעמים של אנשים.
הספר לא עוסק באלו. הוא עוסק בשיפוטים מקצועיים (אבחנה של רופא, גזר דין של שופט ועוד), שם היינו מצפים גם לדיוק (החלטה נכונה), וגם לאחידות, או לפחות תיחום מוגבל של ההבדלים.
כאשר ישנן שגיאות שיפוט מקצועיות, אפשר לסווג אותם לשני סוגים מרכזיים:
שגיאות שמקורן בהטיות קוגניטיביות של המוח שלנו (לדוגמה, אפקט העיגון- היותנו מושפעים יותר מנתון ראשון שהוצג לנו). הטיות הן דומות באפקט שלהן עלינו, ועם זאת קשות לאיתור, שכן אם כולם שוגים באותו כיוון בהטיות, לא תמיד נוכל לדעת שמדובר בשגיאות.
שגיאות שמקורן ברעש מערכתי*, החלטות שונות של בעלי מקצוע שהיינו מצפים שבסבירות דומה השיפוט שלהם היה דומה ושכלתני, ובכל זאת אינו המצב. בניגוד להטיות, רעש קל יותר לאיתור, גם אם אנחנו לא יודעים מה צריכה להיות ההחלטה הנכונה, כי הוא משקף שונות רבה, במקום בו היינו מצפים לשונות תחומה.
* רעש המייצג שונות בלתי רצויה בשיפוטים של אנשים לגבי אותם מקרים, שמקורו אינו בהטיות.
בהחלטות שיפוט אנחנו לא מעוניינים ברעש! חשוב להבין שהיקפן גבוה למדי (תלוי נושא), הן אינן ״מתקזזות״ זו עם זו (טיפול רפואי שגוי לכל כיוון גרוע, וכנ״ל הערכת פרמיה שגויה), וההשפעה על הפרט היא קריטית.
סוגי רעשים שעימם אנחנו מתמודדים:
רעש דרגה: שני אנשים מעריכים אותם מקרים, ובגלל תפיסות שונות שלהם את סולם הדירוג, באופן קבוע אחד יותר סלחן, והשני קפדן; או לדוגמה, שני אנשים מפרשים באופן שונה את סולם הדירוג (מה פירושו מצטיין? עד כמה צריך להיות חריג מקרה, כדי לאפשר נסיבות מקלות? ועוד). רעש דרגה הוא השונות בדרגת השיפוטים הממוצעת של שופטים שונים.
רעש דפוס יציב: ייחשב רעש שאותו מעריך יהיה עקבי לגביו, למשל שיפוט חיובי יחסי קבוע לאנשים המזכירים לשופט בתת מודע בן משפחה קרוב. רעש דפוס הוא רעש המייצג שונות בין שופטים שונים למקרים מסוימים.
רעש מזדמן: רעש שגורם לשיפוטים שונים כתוצאה מתנאים חיצוניים מזדמנים, דוגמת מזג אוויר, מתח אישי, ידיעה שנחשפו לה, עייפות בהתאם לשעות היום, או מהות המקרה הקודם אותו שפטו. ברעש מזדמן, בניגוד לרעש דפוס, אותו אדם יכול להציע שיפוטים שונים לאותם מקרים אם ייחשף להם שוב (ולא יזכור את המקרה הראשוני).
מבחינת היקפם היחסי של הרעשים, יש סיבות להניח כי רעש הדפוס היציב הינו גורם הרעש הדומיננטי.
סיבות: מה מקור הרעש? איך נוצר?
רעש בהחלטות שיפוט מקצועיות יכול להיווצר ממספר רב של גורמים, לרבות:
- אנשים שונים הם בעלי קשב סלקטיבי והיזכרות סלקטיבית משתנים.
- היעדר תהליכים פורמליים המכווינים את שלבי ההחלטה ומרכיביה.
- אנשים שונים נותנים משקל שונה למרכיבים שונים המשפיעים על ההחלטה.
- אנשים מעריכים בדרך שונה את אותו מרכיב (לדוגמה- עד כמה בן אדם איש צוות).
- מיומנות שונה של בעלי מקצוע שונים.
- רושם ראשוני של האדם / המקרה הנבחן.
- סדר בדיקת המקרים.
- השפעה חברתית שיכולה לגרום לתמימות דעים או גם לקיטוב קבוצתי וקיצוניות,
- שונות בפעילות המוח של אנשים שונים.
- הימנעות משימוש בכלים ממוכנים וכללים מוגדרים, היות ואינם מושלמים (יש פה מידה של ציניות, שכן, גם אם אלו אינם מושלמים, רמת השגיאה שלהם מוכחת שוב ושוב כנמוכה מזו האנושית).
- גורמים חיצוניים דוגמת עייפות, מתח, שעה, מצב רוח ועוד משפיעים על ההחלטה.
- בורות אובייקטיבית הנובעת מתחושה של אינטואיציה, בעוד מדובר בתחושה פנימית, להצעת כותבי הספר, של שביעות רצון מכך שיש לנו פתרון ושהשלמנו את תהליך השיפוט.
- ביטחון יתר של מומחים.
- הכחשת הבורות: האמונה שניתן להעריך נושא שאינו נתון כלל לניבוי שכלתני סביר (בגלל אי הוודאות הכרוכה בו). פעמים רבות, אנשים שמבינים נושא, היות ויודעים להבין שרשרת סיבתית של גורמים שהובילו להתנהלות כלשהי, חושבים על כן, שהם יכולים לנבא התנהגות, אך הסבר בדיעבד הוא רחוק ממאפשר חיזוי עתידי.
- רגישות של אנשים מסוימים להיבטים מסוימים של מקרה.
שגיאות בשיפוט תתקבלנה גם בגלל שלל הטיות דוגמת קדם שיפוט, המרה (סוגיה מורכבת בסוגיה פשוטה יותר הדומה לה), קוהרנטיות מופרזת, סדר קבלת המידע , יכולנו המוגבלת להקיף סולמות רחבים מידי (מעבר ל 7), סולמות דירוג שקשה לנו לאמוד, השפעה קבוצתית ועוד.
חזרה
תמונת מצב: איך אפשר לבחון קיומו של רעש בארגון?
ישנם מקרים בהם ניתן לדעת אם החלטה היא צודקת או שגויה בדיעבד, אך לא תמיד זה המצב.
בכל מקרה, ניתן לבדוק את היקף הרעש, בין אם יש ידיעה לגבי נכונות ההחלטה, ובין אם לא, על ידי תהליכי בדיקה וניסוי סדורים שארגונים יכולים לערוך. בבדיקות שכאלו הארגון בודק את השונות בין ההחלטות שהתקבלו. לחילופין, במקרים בהם ידועה התוצאה לבדוק את ממוצע סכום ריבועי השגיאות (סכום הריבועים נותן חשיבות גבוהה במידה זהה לשגיאות בשני הכיוונים, ומשמעות גבוהה יותר לשגיאות הרחוקות מאד מהתוצאה הרצויה).
כאשר בוחנים את השיאה בדרך זו, ויודעים לבדל את ההטיה, יתרת השגיאה מיוחסת לרעש.
על הארגון לטפל כמובן בכל סוגי השגיאות- הטיות ורעשים, ושיטות רבות, כפי שיתואר בפרק הבא, משפיעים על שיפור השיפוט האנושי בשני היבטיו, ההטיות והרעשים.
שתי סוגי הבדיקות המרכזיות הינן:
א. ממוחשבת- מבוססת big data. מסייעת, כאשר יש נתונים רבים, לאיתור רעשים שונים, ובמרכזם רעש מזדמן שיהיה קשה יותר לאתר באמצעים אחרים.
ב. ביקורת רעש- מבוססת ניסוי אנושי.
פירוט דרך יישום ביקורת רעש:
מינוי צוות מקצועי וניהולי לביצוע הביקורת.
בחירת ופיתוח המקרים והתכנים המלווים לשימוש בביקורת.
הגדרה, במשותף עם המנהלים, של ציפיות בהיבטי רמת אי התאמה סבירה והערכת עלות שגיאות; תיעוד הציפיות.
ניהול הניסוי ביחידות עליהן הוגדר תחת כותרת של מחקר קבלת החלטות.
ניתוח התוצאות והצגת המסקנות.
חזרה
שיפור: כלים לשיפור השיפוט האנושי
הכלים המשפרים את השיפוט האנושי מגוונים. חלקם ממוחשבים, חלקם אנושי, וחלקם משלב גם וגם.
מוצגת פה רשימת כלים, כאשר אין כאן הצעה לעבור למודלים ממוחשבים ולהוציא את האדם מתהליכי שיפוט כלל, גם אם בהרבה מהנושאים, נקטין בכך את רמת הרעש באופן ניכר, ונגיע להחלטות שיפוט טובות יותר.
אין גם מתכון מוכן, איך נכון לנהוג בכל מקרה. מוצג ארגז כלים, שעל הארגון לבחון כיצד הוא משלב חלקים מתוכו ונעזר בו להקטנת היקף השגיאות, שלצערנו, על פי כל המחקרים שבוצעו, משמעותי מאד, ולא נכון על כן, להתעלם ממנו.
עיקרי הכלים הממוחשבים:
מודל מבוסס כללים – כללים פשוטים המגדירים כיצד יש לקבל חלטה על בסיס גורמי ניבוי מוגדרים (שחלקם יכול להימדד על ידי מכונה, וחלקו מוערך על ידי אנשים).
מודל מבוסס רגרסיה מרובה- חישוב משקלים שונים של גורמי ניבוי שונים, מתוך בחינת תוצאות והשוואתם לפונקציית מטרה (תשובה נכונה). בניית מודל העל בסיס משקלים אלו.
מודל פשוט (מודל רגרסיה ליניארית)- מודל ניבוי הסוכם באופן ליניארי את ערכי גורמי הניבוי.
מודל מבוסס בינה מלאכותית / למידת מכונה- מתייחס לא רק לדפוסים לינאריים אם כי גם לזיהוי דפוסים מורכבים, דרך למידת המכונה.
[בנושאים רבים, כך מסתבר, המודל הפשוט, ואפילו הגרלה אקראית של שיפוט, רועשת בממוצע פחות משיפוטים אנושיים. על כן, ברוב המקרים מומלץ להיעזר במודל פשוט שנותן תוצאה יפה, וקל ליישום].
עיקרי הכלים האנושיים לשיפור היגיינת החלטות:
א. בחירת שופטים אינטליגנטים בעלי פתיחות מחשבתית פעילה- המסקנה חד משמעית- יכולת מנטלית כללית תורמת משמעותית לאיכות ביצועים במצבי שיפוט מקצועיים.
פתיחות מחשבתית פעילה משמעה חיפוש פעיל אחרי מידע שיכול לסתור את ההנחות הקיימות.
ב. משקיף החלטות- מינוי אדם חיצוני לחיפוש סימני היכר לקיומן של שגיאות.
ג.הדרכה- לתחומים דוגמת:
הקניית אוריינות סטטיסטית/ חשיבה הסתברותית
הכרת ההטיות הקוגניטיביות
ד. שליטה על סדר חשיפת המידע- מניעת רשמים ושיפוט מוקדם הנובע משיפה למידע. למשל, אי חשיפת ראיות נסיבתיות או חשדות למומחה פורנזי. השפעה של מידע מטה משפיעה הן על מה שהבוחן תופס והן על הפרשנות שהוא נותן להבחנותיו.
ה. אגרגציה של שיפוטים עצמאיים ומגוונים- שילוב שיפוטים בלתי תלויים (מגוונים ועצמאיים). מתבסס על רעיון חוכמת ההמונים. ישנם מספר מודלים למימוש, הפשוט שבהם (אפקטיבי דיו ברוב המקרים) הינו מיצוע. יש לוודא כמובן שאכן השיפוטים בלתי תלויים, מתקבלים בדרך עצמאית ויש דרך לבצע להם אגרגציה.
ו. שיפוט בקבוצות- עידוד אנשים המפיקים תחזיות לשמוע ולהקשיב לעמדות מנוגדות, ולקבל החלטה חוזרת לאחר הקשבה זו (מחייב פתיחות מחשבתית).
ז. הנחיות שיפוט- מתן סטנדרטים ו/או כללים מפורשים לדרך השיפוט. הכותבים מתעכבים על ההבדל בין הסטנדרטים המשאירים יותר גמישות לשיפוט אנושי, לבין הכללים, ולא מכריעים לגבי עדיפות גורפת של אחד משני אלו, אלא משאירים זאת לשיקול דעת הארגון, בהתאם לנושאים, היקף המקרים הנבחנים, חשיבות ההחלטה ומחיר השגיאה.
ח. סולם משותף המבוסס על מבט מבחוץ- נקיטת צעדים לשימוש במינוחים אחידים וסולמות אחידים לתהליכי השיפוט. הוספת סולמות חיצוניים הנותנים מתווה למה יתאים לכל רמת הערכה. אפשרי גם דירוג כפוי (שיפוט יחסי אל מול שיפוטים אחרים של מקרים סמוכים).
ט. פירוק תהליך שיפוט לאוסף שיפוטים לגבי המרכיבים שלו- כלי שניתן להשתמש בו למשל לשיפור שיפוט בדבר קבלת מועמדים: התמקדות בארבעה מרכיבים (עדיף לא יותר) שהינם בלתי תלויים, בקשה להערכה של כל אחד מהם בנפרד, ורק אז מתן ציון כולל משוקלל (אנושי או מיצוע). שילוב האינטואיציה לגבי השיפוט ההוליסטי הכולל, רק בסוף התהליך אחרי שיש ציונים לכל מרכיב בנפרד.
כאמור, אין כלי אחד שאפשר להגדירו כמיטבי לשיפור השיפוט, וכותבי הספר ממליצים לנסות, לשפר, וכמובן גם לשלב בין הכלים השונים. הם מציגים דוגמאות יישום מעולמות תוכן שונים החל משיפוט מקצועי של מומחים בארגון, דרך זיהוי פלילי, הנחיות רפואיות, חיזוי, בחירת מועמדים לעבודה, והחלטות אסטרטגיות בחברה.
הכותבים מציעים אסטרטגיה כללית כוללת אותה הם מכנים פרוטוקול הערכות מתווכות, שעיקריה:
א. הסכמה על הגישה לתהליך קבלת ההחלטה.
ב. הגדרת הגורמים המרכזיים המשפיעים על ההחלטה (נקראים: הערכות מתווכות). אמורים להיות מעטים יחסית ובלתי תלויים זה בזה.
ג. הפעלת צוות שיאסוף נתונים לגבי כל אחד מהגורמים המרכזיים השונים.
ד. החלטה כוללת שכוללת שלושה תת-שלבים:
שיפוט של כל שופט בנפרד לגבי כל אחד מהמרכיבים בהתאם לנתונים שנאספו.
דיון משותף בצוות והחלפת עמדות וטיעונים מנוגדים.
הצבעה חוזרת של כל שופט; מיצוע.
למרות שמוצעים כלים להפחתת הרעש וצמצומו, אין כאן אמירה גורפת של הכותבים שיש לאפס את הרעשים:
א. הפחתת רעשים עולה משאבים. יש לבדוק את היתרונות של הפחתת הרעש לעומת העלויות הכרוכות בה.
ב. איפוס רעשים, למשל על ידי הכנסת אלגוריתמים (מיכון החלטות),מקטין את האפשרות שהארגון יתמודד היטב עם גורמים משתנים.
ג. אלגוריתמים אמנם יכולים להיות חפים מרעשים, אך הם יכולים לחזק שגיאות הטיה תוך שכך.
ד. ובסוף... שיפוט אנושי מוסיף כבוד לאדם לגביו קיים השיפוט, ויכולת הפעלת ערכים דוגמת רחמים והתייחסות נאותה למקרים חריגים. שיפוט אנושי כמובן גם מוסיף כבוד לשופט, שלעיתים מרגיש מושפל משילוב המכונה, וגם את זה יש כנראה לקחת בחשבון.
זכרו- מטרתו של שיפוט היא דיוק, לא ביטוי אישי. שלבו בחוכמה שיפוט אנושי עם כלים אנושיים וממוכנים להפחתת הרעש. מצאו את האיזון המנצח- ותצליחו הרבה יותר.
חזרה