הבינה המלאכותית היא מכונת הרציונליות המושלמת. אבל - לא את כל הבעיות בעולם אפשר לפתור עם רציונליות! לפני 100 שנה הייתה מגפה של קוברות בהודו. השלטון הבריטי שהיה שם הכריז שכדי לטפל בבעיה - יתנו פרס כספי על כל גופה של קוברה. אז מה ההודים עשו? התחילו להרבות קוברות כדי לקבל את הפרס.
בבסיס, AI הוא אופטימיזציה - כל צעד הוא הצעד עם הסבירות הכי גבוהה לתת את התוצאה הטובה ביותר. אז אם לטובת בעיה מסוימת כל מה שצריך זה למצוא את הצעד האופטימלי - מכונה שעושה את זה מהר יותר וטוב יותר מאיתנו - תנצח.
אבל! העולם, ועולם העבודה בתוכו, הם לא רציונליים. הסבירו לנו שהשוק ממקסם תועלת, אבל הוא מורכב מאנשים, ואנשים הם לא רציונליים. הם כאוטיים ולא צפויים ומונעים מקנאה ותשוקות ופוליטיקה.
אי אפשר, אינהרנטית, להגדיר פונקציית מטרה לאנשים. אנחנו רוצים דברים סותרים, בו זמנית, כל הזמן. ובלי פונקציית מטרה של ״איך נראה נכון״ - פשוט אי אפשר לאמן מודל.
צריך לזכור שמי שבונים את ה־AI כולם חנונים, כמוני, והקסם האמיתי זה שהם הפחידו אותנו כל כך, שאיכשהו השתכנענו שאפשר לפתור את כל הבעיות בעולם עם אלגברה לינארית.
למזלנו, העולם מלא בבעיות מוזרות ולא רציונליות. לכן תמיד יישארו בעיות שרק יצורים מוזרים ולא רציונליים כמונו - יוכלו לפתור.