איך אנחנו יודעים משהו על העולם? על פי רוב, אנחנו שואלים את מי שאנחנו חושבים שיודע את התשובה. אבל לאורך ההיסטוריה, דמותו של "היודע" השתנתה: זקן השבט, הכומר, אנציקלופדיה, אמצעי התקשורת ההמוניים (עיתון, רדיו, טלוויזיה), גוגל, והיום, כמובן, הבינה המלאכותית.
יותר ויותר אנשים פונים אל ChatGPT, ג'מיניי וחבריהם כאשר הם רוצים לדעת משהו: חמש מסעדות מומלצות בפריז, הסבר פשוט של התיאוריה הקוונטית, הסרטים הטובים ביותר של אלפרד היצ'קוק, הדרך הנכונה להשתמש במכונת כביסה, וגם, אם אפשר, עצה: איך עליי להתמודד עם עמית לעבודה שאוכל סנדוויץ' טונה במרחב המשותף?
אפשר להבין מדוע רבים פונים לצ'אטבוטים: הם מהירים, הם מנומסים, הם עונים בביטחון ולא פעם הם מספקים תשובות טובות ומועילות. אבל כפי שלהסתמכות על הכומר או על הטלוויזיה יש חסרונות, כך גם במקרה של הצ'אטבוטים. ולא, לא מדובר בנטייה הידועה שלהם להמציא המצאות ולספק מידע שגוי. הגם שהבעיה הזאת קשה, ויש שטוענים שהיא בלתי פתירה, משתמשים רבים מתחילים להפנים שצריך להיזהר בתשובות שמתקבלות. אבל מדובר בבעיה אחרת, פחות מוכרת ויותר חמקמקה.
הצ'אטבוטים נשענים על מודלים סטטיסטיים המכונים "מודלי שפה גדולים" (Large Language Models, או בקיצור LLM) והם מייצרים משפטים על בסיס הסתברויות. כך לדוגמה, אחרי שהזינו למודל אינסוף טקסטים, הוא למד שיש הסתברות של 95.82% שאחרי המילה "בוקר" תופיע המילה "טוב", ולפיכך, כאשר הוא יבנה משפט, המילה "טוב" תופיע אחרי המילה "בוקר"; שאר הצירופים, נניח "בוקר סגרירי" או "בוקר משוגע", מופיעים בשכיחות הרבה יותר נמוכה.
יש בשיטה הזאת תועלת רבה. באמצעותה צ'אטבוטים מייצרים משפטים הגיוניים שנדמה שנכתבו על ידי בני אדם — אחרי הכל, הם למדו מטקסטים שלנו — אבל המשמעות שלה היא שהם מעדיפים את מה שנמצא בראש טבלת ההסתברויות, בעוד שמה שנמצא בתחתיתה כמעט שלא יופיע.
אם אימנתי מודל על טקסטים שבהם ב–65% מהמקרים הופיעה התייחסות ל"שווייץ" כמדינה היפה בעולם, "יפן" ב–30% מהמקרים ו"קניה" ב–5% מהמקרים, המודל יענה "שווייץ" כאשר המשתמשים ישאלו "מהי המדינה היפה בעולם?" והוא יעשה את זה ביותר מ–65% מהמקרים כיוון שהוא מתוכנת לבחור בתשובה בעלת ההסתברות הגבוהה.
האם שווייץ אכן המדינה היפה בעולם? זה לא רלוונטי. המודל לא היה בשווייץ, הוא לא יודע מהי שווייץ, הוא אפילו לא יודע מהי המשמעות של "מדינה יפה". כל שהוא יודע הוא שהמילה (או "האסימון", Token) "שווייץ" הופיעה פעמים רבות יותר בהקשרים של "המדינה היפה בעולם".
הדוגמה הקצרה הזאת מלמדת שמצד אחד המודלים משכפלים ואז מעצימים תשובות פופולריות — תשובות מיינסטרים — ומצד שני הם לומדים להכיר את העולם ואת מה שקיים בתוכו, באמצעות המידע שנמצא בנתוני האימון שלהם. אבל מה קורה כאשר אין מספיק נתונים?
מודלי הבינה המלאכותית לומדים מדוגמאות, הרבה מאוד דוגמאות, כמה שיותר דוגמאות. זו הסיבה שהבוטים מקשקשים באנגלית כאילו הם בוגרי אוניברסיטת אוקספורד, אבל הם לא תמיד מצליחים לבנות משפט תקני בעברית. אנגלית היא "שפה גדולה", והאינטרנט גדוש טקסטים שנכתבו בה. עברית, לעומת זאת, היא "שפה קטנה" — רק כ–10 מיליון בני אדם דוברים אותה ולכן באופן טבעי יש באינטרנט הרבה פחות טקסטים בעברית.
אחד ממאגרי המידע המקובלים שבהם משתמשים כדי לאמן את המודלים נקרא Common Crawl, ורק כ–0.2% מהטקסטים שכלולים בו נכתבו בשפה העברית — "שפה קטנה", כאמור. לעומת זאת, שיעור הטקסטים שמופיעים בפנג'אבי קטן עוד יותר ועומד על 0.006% בלבד. נו טוב, כמה אנשים כבר מדברים ב… איך כותבים את זה, פנג'אבי? כ–130 מיליון בני אדם. זו אחת השפות הנפוצות בעולם; היא השפה המדוברת ביותר בפקיסטן, והשלישית במספר דובריה בתת־היבשת ההודית.
התוצאה היא עיוות מוחלט של המציאות: מעל ל–90% מהשפות בעולם לא מיוצגות בצורה מספקת באינטרנט, זאת למרות שמאות מיליונים ואפילו מיליארדי בני אדם דוברים אותן. היעדר המידע מוביל לתת־ייצוג מה שבהדרגה מוביל להתעלמות מידע תרבותי עצום שטמון בתוך שפות של אוכלוסיות עצומות.
מה שמחזיר אותנו לתשובות שהבוטים מציגים בפנינו. ככל שהם מציגים יותר ויותר תשובות שנמצאות בראש טבלת ההסתברויות, תשובות מיינסטרים, וככל שמתפרסמים באינטרנט יותר ויותר טקסטים, כתבות ומאמרים שנכתבים על ידי מערכות הבינה המלאכותית, כך גדל הסיכוי שהמידע שהן כתבו יוזן אליהן חזרה, מה שבתורו יגדיל את ההסתברות להופעתו כתשובה בפעם הבאה. כך נוצרת לולאת משוב שמעצימה את הגדול ודוחקת ואפילו מוחקת את הקטן.
בחודשים האחרונים החלו להופיע מחקרים שמצביעים על ההטיה שקיימת בתשובות של הבוטים: הם בקיאים בסוגיות אמריקאיות ואירופיות, ובורים בסוגיות אסייתיות ואפריקאיות, הם מעדיפים את ערכי המערב על פני ערכי המזרח. אין כאן זדון או גזענות, אבל התוצאה בעייתית.
קחו לדוגמה את תשובות הבינה המלאכותית שהחלו להופיע בתוצאות החיפוש של גוגל. לא רק שהתשובות האלו מותירות את הגולשים בתוך גוגל ובכך מרוקנות את אתרי התוכן מגולשים (מותם של אתרי תוכן רבים הוא רק עניין של זמן), הן מספקות תשובות שמרדדות כל נושא למכנה ההסתברותי המשותף הרחב ביותר ובכך הן מקדמות הבנה שטוחה, מיינסטרימית ומשמימה שאין בה ניואנסים. אחרי הכל, ניואנס הוא הבדל דקיק ועדין וככזה הוא לעולם לא יהיה במיינסטרים, מה שאומר שבהגדרה ההסתברות להופעתו בתשובה של בוט היא נמוכה.
זקן השבט היה מצויד בידע מקומי שעבר מדור לדור ורוחב ידיעותיו היה יחסית מוגבל. למרות ש–ChatGPT בקי באינסוף תחומי ידע גם הוא מוגבל. אופן פעולתו עשוי להוביל לבעיה שמכונה "בעיית קריסת הידע", במסגרתה הגישה שלנו למקורות מידע מגוונים הולכת ומצטמצמת — כולנו נעזרים באותם הבוטים שמנפקים את אותן התשובות — והמודעות שלנו לנקודות מבט חלופיות ולתשובות אחרות נפגעת שכן תשובתו של ChatGPT נחשבת בעיני רבים למילה האחרונה.
היא לא המילה האחרונה. יש מילים נוספות.
(מוסף "הארץ", פורסם ב-14.11.2025)
כתיבת תגובה