תיקון הטיות ועדכון ידע במודלים מחוללי תמונות

מודלים מחוללי-תמונות – מערכות המפיקות תמונות חדשות על סמך תיאור טקסטואלי – הפכו בשנה האחרונה לתופעה נפוצה ומוכרת בציבור הרחב. שיפורם המתמיד, הנשען במידה רבה על התפתחויות בעולם הבינה המלאכותית, הופך אותם למשאב חשוב בתחומי החיים השונים.

כדי להשיג ביצועים טובים, מודלים אלה מאומנים על כמויות עצומות של צמדי תמונה-כיתוב – למשל צימוד הכיתוב “תמונה של כלב” לתמונת כלב, וזאת אלפי ומיליוני פעמים. מתוך אימון זה לומד המודל לייצר תמונות מקוריות של כלבים.

עם זאת, כפי שמציינים הדוקטורנטית הדס אורגד וד”ר בהג’ת קעואר, בוגר דוקטורט מהפקולטה למדעי המחשב ע”ש טאוב, “מאחר שהמודלים האלו מאומנים על המון דאטה מהעולם האמיתי, הם רוכשים ומפנימים בתהליך האימון הנחות על העולם. חלק מההנחות האלה שימושיות, כמו למשל – “השמיים כחולים” – והן מה שמאפשר לנו לקבל תמונות יפות גם על סמך תיאורים קצרים ופשוטים. מצד שני, המודל מקודד גם הנחות שגויות, או לא רלוונטיות, על העולם, וכן הטיות חברתיות. לדוגמה, אם נבקש מStable Diffusion (מחולל תמונה מוכר מאוד) תמונה של CEO (מנכ”ל/ית), נקבל רק ב4% מהמקרים תמונות ובהן נשים.” 

בעיה נוספת שמודלים כאלה מתמודדים איתה היא כמות השינויים הגדולה שמתרחשת בעולם מסביבנו, בעוד שהמודלים אינם משתנים לאחר תהליך האימון. דנה ארד, גם היא דוקטורנטית בפקולטה למדעי המחשב ע”ש טאוב, מסבירה כי “בתהליך האימון שלהם מודלים לומדים גם הרבה ידע עובדתי על העולם. למשל, מודלים לומדים את זהותם של ראשי ממשלה, נשיאים ואפילו שחקנים שגילמו דמויות פופולריות בסדרות טלוויזיה. מודלים כאלה מפסיקים להתעדכן לאחר תהליך האימון שלהם, ולכן אם נבקש כיום ממודל לייצר לנו תמונה של נשיא ארצות הברית, עדיין סביר שנקבל תמונה של דונלד טראמפ, שכמובן אינו הנשיא בשנים האחרונות. רצינו לפתח דרך יעילה לעדכן את המידע מבלי להסתמך על פעולות יקרות.”

דנה ארד

הפתרון ה”מסורתי” לבעיות אלה הוא תיקון מתמיד של הדאטה על ידי המשתמש, אימון-מחדש או כוונון (fine-tuning); אולם לתיקונים אלה עלות גבוהה הן מבחינה כספית, הן מבחינת משך העבודה, הן מבחינת איכות התוצאות והן בהיבטים סביבתיים (עקב הפעלה ממושכת יותר של שרתי מחשוב). בנוסף, הפעלת שיטות אלו לא מבטיחה שליטה על ההנחות הבלתי רצויות או על הנחות חדשות שיכולות להיווצר. “לכן,” מסבירים החוקרים, “היינו רוצים שיטה שתאפשר שליטה מדויקת ומבוקרת באותן הנחות שהמודל מקודד”.

השיטות שפיתחו הדוקטורנטים בהנחייתו של ד”ר יונתן בלינקוב מייתרת את הצורך האמור. השיטה הראשונה, שפותחה על ידי אורגד וקעואר וקרויה TIME, מאפשרת תיקון מהיר ויעיל של הטיות והנחות. הסיבה לכך היא שאותו תיקון אינו מצריך כוונון, או אימון-מחדש, אלא רק עריכה-מחדש של חלק קטן מהפרמטרים – רק כ-1.95% מהפרמטרים של המודל. יתר על כן, אותו תהליך של עריכה-מחדש מתבצע במהירות – תוך פחות משנייה. בנוסף, בעבודת המשך המבוססת על TIME, בשם UCE, שפותחה בשיתוף פעולה עם האוניברסיטאות Northeastern ו-MIT בבוסטון, הציעו החוקרים דרך לשליטה בשלל התנהגויות אתיות לא רצויות של המודל – כגון פגיעה בזכויות יוצרים או הטיות חברתיות – על ידי מחיקת אסוציאציות לא רצויות מהמודל כמו תוכן פוגעני, או סגנונות אומנותיים של אומנים שונים.

ד”ר יונתן בלינקוב

שיטה נוספת, שפותחה בהמשך על ידי ארד ואורגד ונקראת ReFACT, מציעה אלגוריתם שונה לעריכת הפרמטרים ובכך מצליחה להשיג ביצועים איכותיים יותר ומדויקים יותר. ReFACT עורכת אחוז קטן עוד יותר מהפרמטרים של המודל – רק 0.25% – ומצליחה לבצע עריכות מגוונות יותר, גם במקרים בהם שיטות קודמות נכשלו, תוך שמירה על איכות התמונות ועל עובדות והנחות של המודל שהיינו רוצים לשמר.

בתמונה: תיקון ההטייה המגדרית כאשר הקלט הוא “A developer”. משמאל: לפני עריכה באמצעות TIME (ההנחה המוטמעת: A developer הוא גבר). מימין: אחרי עריכה.

השיטות מקבלות מהמשתמש קלטים בנוגע לעובדה או הנחה שאותה נרצה לערוך. כך למשל, במקרה של הנחות לא מפורשות, השיטה מקבלת “מקור” שעל בסיסו המודל בונה הנחות לא מפורשות (“זר שושנים” לדוגמה, שעבורו בדרך כלל המודל מניח שושנים אדומות) ו”יעד” שמתאר את אותן נסיבות אבל עם התכונות המבוקשות (למשל “זר שושנים כחולות”, על מנת לערוך את המודל כך שיניח ששושנים הן כחולות מעתה והלאה). כאשר נרצה להשתמש בשיטה לעריכת תפקידים, השיטה תקבל את בקשת העריכה (לדוגמה “נשיא ארצות הברית”) ולאחר מכן “מקור” ו”יעד” (“דונאלד טראמפ” ו-“ג’ו ביידן”, בהתאמה). החוקרים אספו כ-200 עובדות והנחות, בחנו עליהן את שיטות העריכה והראו כי מדובר בשיטות יעילות לעדכון מידע ולתיקון הטיות.

בתמונה, עדכון ידע במודל שהתבצע בעזרת ReFACT. משמאל, התמונות המקוריות שיוצרו על ידי המודל. מימין, אחרי העריכה. העריכות מכלילות בהצלחה גם לניסוחים קרובים, ומראות שהשיטה מצליחה לבצע עריכה משמעותית בידע שמקודד במודל.

TIME הוצגה באוקטובר האחרון בכנס ICCV, אחד הכנסים החשובים בתחום של ראייה ממוחשבת ולמידת מכונה, ועבודת ההמשך UCE הוצגה לאחרונה בכנס WACV. ReFACTהוצגה לאחרונה בכנס NAACL, אחד הכנסים המובילים למחקר בתחום עיבוד שפה טבעית.

במחקר תמכו הקרן הלאומית למדע (ISF), קרן עזריאלי, Open Philanthropy, FTX Future Fund, קרן משפחת קראון ומל”ג-ות”ת. הדס אורגד היא מלגאית Apple בבינה מלאכותית לדוקטורנטים. דנה ארד היא מלגאית במלגת אריאן דה-רוטשילד לתלמידות דוקטורט.

למאמר לחצו כאן