אזהרת הבינה הגדולה

אי אפשר שלא להתייחס לסערת ה-AI התורנית, שהפעם מגיעה מלב ליבה של ״רצפת הייצור״. הכוונה כמובן להודעה הויראלית של ג’ייקוב קוקסון (Jacob Coxon) , חוקר בינה מלאכותית מוביל בן 27 שעבד על אימון מודלים בסיסיים (pre-training) הן ב- OpenAI והן ב-Anthropic.

קוקסון התפטר מ-Anthropic, ויתר על האופציות שלו והכריז בעצם שאנחנו הולכים לטירוף בלי שום מעצורים. ובמילותיו שלו: זה יהרוג את האנושות עד סוף העשור.

מה הוא טוען?

צבירת כוח אוטונומית ובריחה מפיקוח

ככל שמודלים מגיעים ליכולות הסקה ושימוש בכלים באופן אוטונומי, הם רוכשים את היכולת לבצע פעולות מורכבות ורב-שלביות ללא התערבות אנושית. הסיכון הוא שמערכת בעלת יכולת שיפור עצמי תוכל לצבור בחשאי משאבי מחשוב, הון או יכולות תפעוליות, לעקוף חומות אש שהותקנו על ידי בני אדם, ולהפוך את הפיקוח האנושי לחסר אונים.

פגיעות קטסטרופלית בתשתיות ובסייבר

מודלי קצה מהדור הקרוב יהיו מסוגלים לזהות ולנצל פרצות אבטחה לא מוכרות (Zero-day vulnerabilities) בעומק מערכות תוכנה קריטיות, רשתות חשמל ושרשראות אספקה גלובליות – במהירות ובקנה מידה שאף אחד לא יוכל לבלום.

מרוץ ל”סופר-אינטליגנציה” ללא רסן

המערכות מתקרבות במהירות לנקודה שבה הן יהיו חכמות יותר מהחוקרים שבונים אותן, ואין שום שיטה מוכחת להבטיח שבינה מלאכותית עילאית (ASI)  תישאר ממושמעת בתחום הכוונות האנושיות המקוריות. קוקסון אומר שאימון מודלים באופן מפוקח בתנאי מעבדה, לא מבטיח בכלל שלא יצאו מכלל שליטה בהמשך.

מרוץ החימוש בין המתחרות

התחרות האגרסיבית בין מעבדות הקצה (בעיקר OpenAI ו-Anthropic )  מביאה לכך שהמהירות באה על חשבון הבטיחות. חלונות הזמן לבדיקות בטיחות מצטמצמים, מתעלמים מאזהרות פנימיות של צוותי תקיפה (Red Teams) ורצים לשחרר מודלים לשוק תחת הצידוק של “אם אנחנו לא נבנה את זה ראשונים, מישהו אחר יעשה את זה״.

ואולי סעיף האישום החמור מכל: זה ידוע לחברות, אבל הן מורחות את הציבור ואת הרגולטורים בכל מיני דברי הרגעה כמו ״ עניינים טכניים שאפשר לפתור״ ובעצם מסתירות את הסכנות הגדולות.

^{ג׳ייקוב קוקסון, 27, נביא הזעם של הבינה המלאכותית (צילום מסך ראיון ברשת FOX)}

אם מישהו חשב שאולי הבחור הוזה, בא אוואן הובינגר (Evan Hubinger), אחד מעמיתיו של קוקסון  ב-Anthropic וגיבה אותו לחלוטין. “ג’ייקוב צודק כאן, אנחנו באמת מאמינים ברצינות ש-AI יכול להרוג את כל בני האדם”. הובינגר מעריך שההסתברות להכחדה המונית בעשור הקרוב גבוהה מ-10 אחוזים. (איפה האימוג׳ של השיגעון?)

והוא ממשיך: ״ Anthropic מנסה לעשות כמיטב יכולתה, אבל עדיין אין לנו תוכנית לפתור את בעיית התאימות ( Alignment  (עבור סופר-אינטליגנציה ולא מצאנו את הדרך לכך.״

^{ג’ייקוב צודק (צילום מסך: X)}

במילים פשוטות: אין לנו דרך וגם לא תוכנית איך להבטיח שהמודלים לא יצאו מכלל שליטה ובקרה אנושית. הובינר ״מרגיע״ ואומר שבינתיים הסיכון מהמודלים הנוכחיים נמוך, אבל המודלים משפרים את עצמם באופן מהיר משחשבנו.

חוסך לכם את התגובות הרשמיות של OpenAI  ו-Anthropic. סלטי מילים חסרי משמעות.

^{נשיא ארה״ב ניקסון ונשיא ברה״מ ברז׳נייב 1974}

אז מה עכשיו?

הרגולטורים העצבניים בוושינגטון קיבלו תחמושת. בהינתן חוסר התפקוד הפוליטי והקונספט הכושל שרגולציה יכולה לעצור טכנולוגיה, קשה לצפות להרבה מהכיוון הזה.

הנשיא וממשלו חיים בתחושה של מלחמה קרה סביב ה-AI. מבחינתם כל עצירה היא ״סכנה שנפסיד לסין״. ונגיד שתהיה רגולציה. על מה ואיך? מתי זה עזר עם הרשתות החברתיות למשל? ומי בדיוק יפקח על סין ורוסיה וצפון קוראה?

בשנות ה-70 ארה״ב וברית המועצות הגיעו להסכם היסטורי על הגבלת מרוץ החימוש וצמצום מספר הטילים הבין-יבשתיים. בשנת 2010 ארה״ב ורוסיה חידשו ושיפרו את ההסכם הזה. לכאורה מישהו צריך להרים כפפה כזו ולהכניס להסכם כזה הרבה יותר מדינות. רגע לפני ש״ההם מה-AI״ באים להרוג את כולם.

מי רואה את זה קורה?

אני מזיע. הולך לשתות מים.

לתגובות: [email protected]

^{גילוי נאות: הכותב עשוי להחזיק בניירות הערך המוזכרים בטור. אין לראות בכתוב משום ‘ייעוץ השקעות’ או ‘שיווק השקעות’ כהגדרתם בחוק הסדרת העיסוק בייעוץ השקעות, בשיווק השקעות ובניהול תיקי השקעות, תשנ”ה-1995. המידע בטור זה אינו מהווה תחליף לייעוץ המתחשב בנתונים ובצרכים המיוחדים של כל אדם, וכל המבצע פעולה על סמך הכתוב עושה זאת על דעתו ואחריותו בלבד. כמו כן, הכותב משתמש באופן נרחב במודלים של בינה מלאכותית לנתונים ומחקר, על כל המשתמע מכך.}