טקס הענקת פרסי נובל

ב-10 בדצמבר יתקיים בשטוקהולם טקס הענקת פרסי נובל. את פרס נובל בפיזיקה לשנת 2024 יקבלו פרופ’ ג’ון  הופפילד מאוניברסיטת פרינסטון וג’פרי הינטון מאוניברסיטת טורונטו “על תגליותיהם והמצאותיהם החלוציות שהניחו את הבסיס ללמידה חישובית באמצעות רשתות נוירונים מלאכותיות”.

פרופ’ מיכאל אלעד

פרופ’ מיכאל אלעד מהפקולטה למדעי המחשב ע”ש טאוב הוא מומחה בעל שם עולמי בתחום רשתות הנוירונים המלאכותיות (למידה עמוקה). לאחרונה הוא זכה בפרס רוטשילד מטעם יד הנדיב על תרומותיו החלוציות בעיבוד אותות ותמונות ובלמידה חישובית. עבודתו לאורך השנים הציגה מודלים מתקדמים מבוססי למידת מכונה, שמציעים הורדת ממד לאותות ותמונות ובכך מאפשרים טיפול יעיל במקורות מידע אלו לטובת משימות יישומיות שונות.

1. מהם ההישגים המרכזיים של הינטון והופפילד, יחד ולחוד?

הינטון והופפילד הם חוקרים מאוד שונים וקשה לדבר על שניהם בכפיפה אחת. בנוסף, ולמיטב ידיעתי, הם לא שיתפו פעולה מעולם במחקריהם, שנעשו לאורך חמישה עשורים ויותר. עם זאת יש שני קווי דמיון משמעותיים בין השניים שראוי להזכיר: שניהם עסקו מאז תחילת שנות השמונים ברשתות נוירונים מלאכותיות, נושא שלימים היה הבסיס שעליו מושתתת כיום מהפיכת ה-AI. עוד דבר שמשותף להם הוא החשש ששניהם הביעו בהזדמנויות שונות בשנתיים האחרונות מההתקדמות הלא-מרוסנת של מחקר ה-AI והסכנות שזה עלול לייצר לחברה האנושית.

ג’ון הופפילד (נולד בשנת 1933) הוא פיזיקאי אמריקאי עתיר הישגים ופרסים, ששימש כחבר סגל לאורך השנים באוניבסיטאות Berkeley, CalTech ו-Princeton. התוצאה המחקרית החשובה ביותר המיוחסת לו היא “רשתות הופפילד” – מערכת המורכבת ממספר רב של נוירונים עם משובים פנימיים ביניהם, שמאפשרת זיכרון של תבניות מורכבות. תגלית מחקרית זו היא זו שעומדת בבסיס פרס הנובל שהופפליד קיבל לאחרונה.

אם ג’ון הופפילד נחשב לחוקר גדול (והוא אכן כזה), אז את ג’פרי הינטון (נולד בשנת 1947) יש לתאר כמדען ע-נ-ק ! לו היתה מתקיימת תחרות על תואר המדען המשפיע ביותר בחמישים השנים האחרונות, הינטון היה בהחלט מועמד ריאלי לתואר זה.

הינטון הוא האיש שלו ניתן לייחס את מהפיכת ה-AI  על מרבית מרכיביה, וזאת בשל עבודה ארוכת שנים ועם שורה מרשימה של תוצאות פורצות דרך בזירה זו. הינטון הוא מדען בריטי-קנדי שעסק בחקר המוח מהזווית של מדעי המחשב (בניגוד לזו הביולוגית). עיקר מחקריו בעשורים האחרונים נעשו כשהוא חבר סגל באוניברסיטת טורונטו. בשנים 2013-2023 שימש הינטון במקביל גם כמדען מוביל בחברת גוגל, ולקח כנראה חלק פעיל בהסבת חברה זו מחברת חיפוש באינטרנט לחברה בתחום ה-AI. תרומותיו המדעיות המוכרות ביותר הן: (1) פיתוח אלגוריתם ה- BackPropagation שנועד לאימון רשתות נוירונים, (2) הצגת רשתות עמוקות לשם סיווג תכנים של תמונות (AlexNet), (3) פיתוח אלגוריתם ה- DropOut שמייעל למידה של רשתות עמוקות, (4) הצגת מכונות Boltzman כבסיס לרעיון של למידה עמוקה, (5) הבאת ה–ReLU כחלופה לסיגמויד ברשתות נוירונים, … ועוד ועוד. רק לשם מתן קונטקסט, כל אחת מתרומות אלו עולה בחשיבותה והשלכותיה על אלו של “רשתות הופפליד”. בשנת 2018 קיבל הינטון (יחד עם Bengio ו- LecCun) את פרס טיורינג – הפרס היוקרתי ביותר במדעי המחשב – על תרומתם בפיתוח רעיונות הלמידה העמוקה ומהפיכת ה-AI שנבעה מכך.

2. מדוע הם קיבלו נובל בפיזיקה על תחום שנחשב יותר קשור למתמטיקה ומדעי המחשב?

זו שאלה מצוינת והתשובה לצערי מעט מבלבלת. היינו רוצים לחשוב שהפרס ניתן להופפליד והינטון על תרומתם להיווצרה של מהפיכת ה- AI, אבל נראה שזה לא בדיוק המקרה. למעשה, חייבים להודות שלעבודותיו של הופפליד כמעט אין משמעות במהפכה זו. ומצד שני, אם הפרס היה ניתן על התפתחות ה- AI בעשור האחרון, אולי נכון היה להכליל את Bengio ו-LecCun בפרס זה במקום הופפילד.

טוב, אז כעת, כשהבהרנו שמהפיכת ה- AI אינה העילה הישירה לפרס, מהי אם כן הסיבה? את התשובה ניתן למצוא בהודעה הרשמית לעיתונות של ועדת הפרס. העבודה של ג’ון הופפילד משנת 1982 על “רשתות הופפילד”, ועבודותיו של הינטון משנת 1984 על הרחבתן ל-“מכונת בולצמן” הם הסיבה לפרס נובל זה. ומה הקשר לפיזיקה? מסתבר ששתי מכונות אלו קשורות למודלים פיזיקליים מאוד ידועים ממכניקה סטטיסטית ותרמודינמיקה הנקראים “Ising Model”  ו-“Spin Glass”. במודלים אלו קיים שריג רב-מימדי של דיפולים (חישבו עליהם כמגנטים קטנים) שיכולים לקבל ערכים +1 או 1-, כשכל אחד מפעיל השפעה על שכניו. בכל תצורה של הדיפולים ובכל רגע נתון ניתן לחשב את האנרגיה הכוללת של מערך זה. מכיוון שטבען של מערכות פיזיקליות לחתור לדעיכת אנרגיה, מתקיימת דינמיקה של שינויים בדיפולים כך שהאנרגיה יורדת בהדרגה. אם אנו מצרפים לתהליך זה גם קירור (annealing) שמקשה יותר ויותר על שינויים, השריג יתייצב על תצורות מעניינות של הדיפולים, ויוביל להתנהגויות סטטיסטיות מעניינות. מודלים אלו נחקרו בשורה ארוכה של עבודות מדעיות לאורך 100 השנים האחרונות, בנסותם לאפיין מערכות אלו, ולגלות מעברי פאזה בהן. עבודותיהם של הופפליד והינטון רתמו מודלים אלו, כשהם מחליפים את הדיפולים בנוירונים מלאכותיים, ובכך הביאו את הקונספט הפיזיקלי הזה לזירה של למידת מכונה ואינטליגנציה מלאכותית.

ועכשיו לחלק המבלבל בתשובה: חשוב להזכיר שלעבודות אלו של הופפליד והינטון כמעט אין קשר למהפיכת ה- AI כפי שהיא עומדת היום, ולהישגיה יוצאי הדופן. מדענים שעוסקים כיום בחזית הידע ב- AI לא מוצאים כל צורך להשתמש במכונות בולצמן או ברשתות הופפילד. למרות זאת, אני נוטה להאמין שללא קיומה של מהפיכת ה- AI, פרס נובל זה לא היה מוענק להופפילד והינטון, כי התרומה הפיזיקלית לכשעצמה שבעבודותיהם דלה. הייתי רוצה להיות זבוב על הקיר בחדר שבו הועדה דנה בשיקולים השונים שהביאו להענקת פרס זה. צריך לזכור – מדובר בפרס נובל בפיזיקה ולא בפרס במדעי המחשב, ואני בטוח שהדבר הטריד את חברי הוועדה בבואם לקבל החלטה זו.

אל לנו לשכוח שוועדות פרס הנובל השנה עשו בחירה נועזת נוספת ברוח זו, בהעניקם פרס נובל בכימיה לצוות שפיתח את ה- Alpha-Fold. מדובר בשיטה מבוססת AI שמאפשרת פיצוח של המבנה התלת-מימדי של חלבונים, ובפריצת דרך בתכנון חלבונים ותרופות עתידיות. מה נוכל ללמוד מכל התפתחויות אלו? נראה ש-AI עוד יופיע בפרסי נובל בשנים הקרובות, וזאת בשל השפעתו של תחום זה על כמעט כל זירת מחקר אפשרית. אין מן הנמנע שנראה כלי AI פורצים דרך בכלכלה, רפואה, ועוד.

3. האם יש לך היכרות מקצועית/אישית עם מישהו מהם?

לצערי, לא זכיתי לפגוש את הינטון או את הופפליד מעולם.

4. האם אכן יש דמיון בין רשתות נוירונים טבעיות ומלאכותיות? מהו?

יש דמיון רופף למדי בין נוירונים מלאכותיים לאלו הביולוגים. המשותף לשניים הוא היותם של נוירונים אלו מערכות פשוטות למדי ועם יכולת “חישובית” די מוגבלת, כשאת כוחם האמיתי הם מקבלים כשהם מקושרים לאלפי ויותר נוירונים סמוכים. רשתות עתירות נוירונים המחוברים ביניהם, ומנגנוני למידה שמכווננים את עוצמות הקישור ביניהם לפי הצרכים של הרשת, אלו הם המפתחות לבינה שנוצרת, וזה נכון גם במוח הביולוגי וגם בזה המלאכותי.

5. ממה נובע העניין הרב ברשתות נוירונים מלאכותיות? הרבה מדברים על שחזור תמונות – האם יש ללמידה העמוקה השלכות רחבות יותר?

רשתות נוירונים מלאכותיות הבנויות משכבות רבות של נוירונים המחוברים ביניהם נרתמו לשורה ארוכה ומרשימה של יכולות, והדבר מוביל למהפיכת ה- AI עליה הרבינו לדבר בראיון זה. רק כטעימה, הנה תיאור של מספר יכולות בסיסיות שרשתות כאלה מאפשרות, והתרומות המעשיות הנובעות מהן:

גילוי וזיהוי עצמים בתמונות ובמידע אחר: ניתן לאמן רשתות נוירונים לקבל תמונה כקלט, ולזהות את התוכן בה. ליכולת יסודית זו שימושים רבים ומגוונים ובהם

• נהיגה אוטונומית: לא ניתן לדמיין התקדמות בתחום זה ללא AI, אשר פועל על המידע מהמצלמות והחיישנים ברכב ומחליט על ההיגוי והעפלת מערכות הרכב.
• אבחון מחלות: הרפואה משתנה לנגד עינינו בשל החדירה של כלי AI. כך למשל, צילומי אולטראסאונד, CT ו- MRI ניתנים לסריקה ע”י מחשב לשם קביעת אבחנות בדיוקים שעולים על כל רופא.
• בנקאות: גילוי רמאויות באשראי נעשה ע”י מערכות AI שמחפשות חריגות בנתוני הרכישות. תנאי ההלוואות בבנקים והזכאות להן גם הם מטופלים ע”י כלי AI.
• בטחון ואבטחה: בשדות תעופה, במרכזי קניות ובמקומות המוניים אחרים ניתן לראות מצלמות המתעדות את המתרחש. מה שלא רואים אלו מערכות המיחשוב שמעבדות מידע זה לגילוי התנהגויות חריגות, הרצת אלגוריתמי זיהוי פנים ועקיבה אחר חשודים, כל אלו ע”י טכניקות AI.

ניתוח שפה טבעית: התחום הקרוי Natural Language Processing  מציע עיבוד אוטומטי של טקסטים, ונושא זה זכה להאצה משמעותית בעשור האחרון בשל כניסת כלי AI למשימות אלו. כלים כמו ChatGPT של OpenAI וכלים דומים מחברות אחרות יוצרים מציאות חדשה שבה שיח של אדם עם מחשב הופך נגיש ומועיל יותר מאי-פעם. אלגוריתמים לתרגום בין שפות, שיטות לניתוח טקסט והסקת מסקנות ממנו, סיכומים אוטומטיים ועוד – כל אלו נגישים כיום בשל ההתקדמות בעולם ה- AI.

נושא נוסף שבו מתחוללת מהפיכה של ממש נוגעת ביצירת תוכן אוטומטית. בהינתן תיאור מילולי, ניתן כיום לייצר בעזרת כלי AI תמונה ואפילו סרטון וידאו שימירו את התיאור הטקסטואלי למידע ויזואלי תואם. ליכולת זו השלכות דרמטיות באומנות, בעבודות גרפיקה, בהפקת סרטים, בבניית משחקי מחשב, ועוד.

6. אילו הפתעות עוד צפויות לנו בתחום הלמידה העמוקה? האם היא עוד תשתכלל משמעותית? האם יש בה סכנות כלשהן?

מהפיכת ה- AI בעיצומה וכל יום נחשפות יכולות חדשות שנראות לא פחות מדמיוניות. בעת האחרונה אף מדברים על AGI (Artificial General Intelligence) – כלומר רשתות גדולות ועשירות שחורגות מטיפול במשימות ממוקדות ומראות יכולות כלליות של בינה בדומה למוח אנושי. כפי שהוזכר קודם, הצטברות יכולות אלו יוצרת חשש בקרב מומחים לגבי האפשרות לרסן את מערכות ה- AI לכשיגיעו לתבונה מתקדמת ואולי אף לתודעה עצמית. הופפילד, הינטון, ורבים אחרים שמובילים את התחום יצאו באזהרות ואף נבואות זעם בהקשר זה, כשהם מבקשים שממשלות יטילו רגולציה על חברות מובילות בתחום. מאבקים בתוך חברות כפי שנחשפנו אליהן לאחרונה ב- OpenAI מעידות שהנושא גם טורד את מנוחתם של המהנדסים העוסקים בנושא.

פרופ’ מיקי אלעד מהפקולטה למדעי המחשב ע”ש טאוב בטכניון הוא מומחה עולמי בתחומים של עיבוד אותות ותמונות ולמידה חישובית. מחקריו של פרופ’ אלעד הובילו למהפכה בדרכי הטיפול במידע דיגיטלי באמצעות פיתוח כלים ואלגוריתמים פורצי דרך מבוססי ייצוגים דלילים וטכניקות מתקדמות מבוססות בינה מלאכותית. עבודתו לאורך השנים הציגה מודלים מתקדמים מבוססי למידת מכונה, שמציעים הורדת ממד לאותות ותמונות, ובכך מאפשרים טיפול יעיל במקורות מידע אלו לטובת משימות כגון דחיסה, פתרון בעיות היפוך ועוד. מאפיין ייחודי בקו עבודותיו הוא הגשר הרציף שמתקיים בין ניתוח תיאורטי ומתמטי מעמיק ובין עולם המעשה, בו יישומים מפותחים ישירות על בסיס תרומות אלו. עבודתו של פרופ’ אלעד הובילה להיווצרו של תחום מחקר חדש ועשיר ששינה את הדרך שבה מידע מעובד ומטופל, ותרומותיו מהוות השראה לחוקרים רבים בכל רחבי העולם.
פרופ’ אלעד זכה השנה בפרס רוטשילד על מחקרו בתחום ההנדסה, שהוביל לפיתוחים מעשיים ובהם הורדת רמת הקרינה בצילומי CT וקיצור זמני צילומי MRI .