"תחום הבינה המלאכותית כיום הוא מסעיר מאוד. יש הרבה התפתחויות אינטלקטואליות וגם טכנולוגיות, שבאות לידי ביטוי בעולם האמיתי. אבל אנחנו זיהינו גם חסם משמעותי שעומד בפני הבינה המלאכותית העכשווית", מתאר פרופ' יואב שוהם, שב-2017 ייסד יחד עם אורי גושן ופרופ' אמנון שעשוע את AI21 Labs - סטארטאפ בתחום הבינה המלאכותית, המתמקד בפיתוח מודלים מקיפים ומתקדמים לעיבוד שפה טבעית.
לדברי פרופ' שוהם, "כמעט כל המאמצים בלמידת מכונה, ובפרט למידה עמוקה, מופנים לפיתוח שיטות סטטיסטיות מתקדמות בסקאלות שלא דמיינו בעבר. זה מאפשר לעשות דברים מדהימים, אבל עדיין, החידושים הללו הם בעיקר דרך לבצע חישובים סטטיסטיים, פשוט בסדרי גודל אדירים.
"אנחנו, כמי שמתעניינים בעיבוד שפה, הבנו שבתחום הזה, השיטות הסטטיסטיות שכרוכות בלמידה עמוקה אמנם הכרחיות - אבל לא די בהן. צריך לשלב עוד משהו, כדי להניע מהפכה גם בנושא הזה, ולשנות מהיסוד את הדרך שבה בני אדם כותבים - וגם קוראים".
"הדברים יוצאי הדופן שעושים כיום, הם כולם בקטגוריה של זיהוי תבניות. זה בולט במיוחד בתחום הראייה הממוחשבת - מחשבים כיום יכולים לזהות אם בתמונה יש חתול או כלב, רמזור או תמרור. ליכולות אלה יש שימושים מסחריים רבים, ולפני כחמש שנים, התחלנו לראות כיצד הן משפיעות גם על עיבוד שפה טבעית.
"עם זאת, עיבוד שפה הוא נושא מורכב יותר מעיבוד תמונה. הרבה פעמים אנחנו אומרים שראייה ממוחשבת זה מבט לעין האנושית, אבל עיבוד שפה טבעית זה המבט למוח האנושי. אין שום מחשבה מורכבת וניואנסית שאי אפשר להביע במילים.
"אם מראים לנו תמונה, מצביעים על אחד הפרטים בה - למשל כלב - ושואלים מה זה, התשובה לא משתנה אם יש משהו אחר בקצה הימני העליון של התמונה. אך כשמדובר במשפט, כאן יש חיבורים מורכבים בין המילים, ובוודאי בטקסט ארוך יותר - כל חלק בו משנה את המשמעות. זה מה שהופך את תחום עיבוד השפה למורכב ומאתגר כל כך, וזה בדיוק האתגר שלקחנו על עצמנו - כי הבנו שפריצת דרך בתחום הזה, תאפשר מגוון אדיר של שימושים חדשים.
"חזקות ככל שיהיו, הן לא מספיקות. נמחיש זאת בדוגמה פשוטה - פעולה אריתמטית, חיבור שני מספרים. מודלי שפה מודרניים מבוססים על רשתות נוירוניות, ובאמצעותן הם 'מבינים' מה כתוב בטקסט. המודלים האלה יודעים לבצע פעולות חיבור וחיסור, וזה מרשים מאוד, כי זו לא היתה כוונת המשורר. ואכן, נשאל את המודלים מה תוצאת החיבור של שני מספרים דו-ספרתיים, למשל 21 ועוד 12, הוא יענה בביטחון שהתשובה היא 33. אך אם נשאל אותו כמה זה 2022 ועוד 1011, הוא עדיין ייתן תשובה בביטחון מלא - אך היא תהיה שגויה".
"המודל לא למד לבצע פעולות חיבור וחיסור, אלא לשנן את התבניות שאליהן אימנו אותו, ובמידה מסוימת להכליל מהן. אבל ההכללה הזו לא מספיקהבהו לחיבור של מספרים גדולים יותר. גם אם המודלים יסתמכו על רשתות נוירונים גדולות יותר, הם עדיין לא יהיו טובים בפעולות אלה כמו מחשבון פשוט שקיים בשוק כבר עשרות רבות של שנים. יש סוגי חשיבה שהשיטות הסטטיסטיות הן תחליף עלוב שלהם.
"בואי נעבור לדוגמה מורכבת יותר. נאמר שילדה בת 5 חוזרת מהגן, ואומרת 'אבא, דני הרביץ לי בגן אז הרבצתי לו חזרה. הגננת ראתה רק שאני מרביצה לו, אז היא הענישה אותי, וזה לא פייר'. אין מחשב שיכול להבין את המשפט הזה. אנחנו כבני אדם כן מבינים, בלי בעיה. אנחנו מבינים שיש מאורעות שקשורים ביניהם מבחינת סדר זמנים, וגם שיש סיבתיות - משהו אחד גרם למשהו אחר. אנחנו מבינים שאנשים נמצאים במצב מנטלי שונה, שיש רגשות. עבורנו כבני אדם, כל האבסטרקציות האלה טבעיות מאוד - אבל לא למחשב, גם אם ישתמש ברשת נוירונים גדולה ככל שתהיה.
"אם נלך רגע אחורה בזמן, בתחילת דרכה של הבינה המלאכותית, אי שם בשנות ה-80 - אלה בדיוק היו הנושאים בהן היא התמקדה: אבסטרקציות של זמן, סיבתיות וכן הלאה, שמאפשרת הסקת מסקנות. את AI21 Labs הקמנו כדי לשלב את הבינה המלאכותית העכשווית, של ימינו, עם אותה בינה מלאכותית שמתמחה בחשיבה והסקת מסקנות, משנות ה-80".
פרופ' שוהם בהחלט נמצא בעמדה שמאפשרת לו לעקוב מקרוב אחרי כל השינויים שחלו בתחום הבינה המלאכותית. כמי שלמד בטכניון, השלים דוקטורט בארה"ב בבינה מלאכותית ("אז לא למדו את זה בארץ"), הוא חזר לישראל לפוסט דוקטורט מקוצר - ומשם המשיך למשרה אקדמית בסטנפורד, שם נשאר קרוב ל-30 שנה. "כפרופסור לבינה מלאכותית, עסקתי בצדדים התיאורטיים שלה - אלגוריתמים, לוגיקה ותורת המשחקים, אך גם בפן המעשי. ניהלתי מעבדת בינה מלאכותית באוניברסיטה, ופתחתי כמה חברות. כולן נמכרו, שתיים מהן לגוגל".
את AI21 Labs הקים יחד עם גושן לפני כארבע שנים, וכעבור זמן קצר הצטרף אליהם כמייסד פרופ' שעשוע - הידוע כמייסד מובילאיי ומשמש גם סגן נשיא באינטל. "החברה שלנו היא לא שגרתית בהרבה מובנים", אומר פרופ' שוהם. "החלטנו שאנחנו לא רוצים להיות רק מעבדת מחקר. אמנם יש חברות מצוינות כאלה, אבל כדי לייצר ערך כלכלי גדול, צריך מוצרים ולקוחות. הגענו למסקנה שהמשימה שלנו היא לשנות את הדרך בה מייצרים וצורכים מידע - בדגש על כתיבה וקריאה".
"אנחנו כותבים ממש כמו שמנהל מוצר במיקרוסופט החליט שנעשה זאת ב-1980. בין אם אנחנו משתמשים בוורד, גוגל דוקס או אאוטלוק, החוויה לא השתנתה במהותה. יש חידושים כמו תיקון שגיאות, הגהה בסיסית, השלמת משפטים פשוטה אוטומטית - אבל הבסיס נשאר אותו דבר. גם בקריאה - אנחנו קוראים כפי שגוטנברג החליט עם המצאת מכונת הדפוס במאה ה-15. מישהו שם את האותיות על דף או מסך, ואנחנו מסתכלים עליהן.
"אנחנו מאמינים ששתי החוויות הללו, ששלובות זו בזו, יכולות להשתנות מהיסוד - אם משתמשים בבינה המלאכותית כמרכיב מרכזי בחוויה, ולא כפיצ'ר או תוסף לאחר מעשה".
המוצר הראשון של החברה, Wordtune, הושק לפני כשנה וחצי ומתמקד בכתיבה. לפני קצת יותר מחצי שנה, הצטרף אליו מוצר משלים, Wordtune Read המסייע בקריאה. בנוסף, פיתחה החברה פלטפורמה ייעודית עבור מפתחים - AI21 Studio.
"בהגדרה, זה מוצר שעוזר לך לכתוב - אך בניגוד למוצרים אחרים שעוזרים להימנע משגיאות דקדוק ותחביר, Wordtune עושה הרבה יותר. כשאני עוזר לך להימנע משגיאת דקדוק, אני משמש עוזר הגהה. זה כמובן חשוב מאוד וכולנו צריכים את זה. בעבר, היו מגיהים שעברו על ספרים לפני הפרסום. כיום התהליך מבוצע ברובו באופן אוטומטי, והאפשרות הזו זמינה לכל אחד - בין אם היא מובנית בתוך אפליקציות כמו מיקרוסופט וורד או גוגל דוקס, ובין אם באפליקציות ספציפיות שמטרתן לעזור בשיפור הדקדוק והתחביר.
"אנחנו עושים גם את זה, ובצורה טובה מאוד - אבל זו רק תוצאת לוואי. השאיפה שלנו היא לסייע לכותבים ברבדים מקיפים הרבה יותר. המחשבות שלנו הן מאוד עמוקות, רבגוניות ומלאות ניואנסים. אך כשאנחנו מנסים לדבר או לכתוב אותן, נוצר רצף מילים שהוא דל מאוד ביחס לעומק המחשבה. הסיכוי שמילים שיוצאות לנו מהפה או המקלדת יביעו במדויק את המחשבה שלנו, נמוך עד לא קיים. הרבה מאוד 'הולך לאיבוד בתרגום'.
"המטרה שלנו היא לעזור לכתוב את הדברים כך שיהיו קרובים הרבה יותר לייצוג אמיתי של המחשבות שלנו. כמשתמשים במוצר, החוויה הבסיסית היא מעבר לכך שאנחנו אומרים 'היתה לך שגיאת תחביר'. אנחנו אומרים - 'הנה דרכים אחרות להביע דברים, שהן לא בדיוק מה שכתבת, אבל אולי זה מה שחשבת ורצית לומר'.
"למשל, אם כתבת למישהו, 'היה נחמד להיפגש אתמול בערב', אולי התכוונת להגיד ש'זו היתה אהבה ממבט ראשון'?. אלה לא משפטים נרדפים בשום מובן, אבל יש קשר ביניהם. אז פעמים רבות ההצעות של המערכת שלנו לא נכונות בהקשר מסוים, אבל בהרבה מקרים אחרים, המשתמשים פשוט מגיבים ב'וואו, זה בדיוק מה שרציתי להגיד'".
"יש עוד הרבה דברים ש-Wordtune עושה, אבל זה רק צעד ראשון במסע ארוך שייקח לנו שנתיים להשלים אותו - גם אם חלקים ממנו נראים כמו מדע בדיוני".
"הביקוש מתפשט כאש בשדה קוצים, אף שפעולות השיווק שלנו היו מוגבלות מאוד. הוא גדל בקצב אקספוננציאלי - לפני שישה חודשים היו לנו פחות מחצי מיליון משתמשים, ועכשיו עברנו את ה-3 מיליון.
"המשתמשים הם הכל מהכל, זה מוצר רוחבי מאוד. רוכשות אותו חברות עבור עובדים שתפקידם לייצר תוכן, בין אם זה בשיווק, בקשרי לקוחות, או בכתיבת דוחות. יש לנו הרבה משתמשים בעולם החינוך, גם בעל יסודי - סטודנטים משתמשים בו לכתיבת עבודות ואפילו פרופסורים נעזרים ב-Wordtune כדי לכתוב מאמרים וספרים. הוא מגיע גם לתלמידי תיכון ואפילו ליסודי, ויש מורים שמשתמשים בו כעזר ללימוד כתיבה טובה.
"אבל הוא פורץ גם את הגבולות האלה, של כתיבה שיווקית ועסקית, ושל כתיבה לצורכי לימודים. יש בעלי מוגבלויות כמו דיסלקציה, ש-Wordtune עוזר להם ליצור תוכן שוטף ורהוט; ויש מי שמשתמש בו כדי לכתוב מודעות בטינדר. ציבור משתמשים מרכזי הוא אנשים ששפת אימם אינה אנגלית. כשהם משתמשים ב-Wordtune, הם לא צריכים להגביל את יכולת הביטוי שלהם, ומקבלים תוצר בשפה קולחת ונכונה".
"Wordtune אמנם מכוון בעיקר לאנגלית, ואנחנו לא מעודדים שימוש בו כדי לייצר תוכן בשפות אחרות. אבל אפשר לכתוב במגוון שפות, למשל בשעטנז של אנגלית עברית וספרדית, והמערכת תשכתב זאת לאנגלית קולחת ותציע כל מיני הצעות שמתאימות לאותו דבר שכתבת בבליל שפות".
לפני חודשים ספורים, עשתה AI21 Labs צעד נוסף במסע שלה והשיקה את Wordtune Read - "מוצר שעוזר לך לקרוא", כפי שמצהיר פרופ' שוהם.
"לא מזמן פגשתי את מנכ"ל AT&T העולמית, והוא התלונן בפני על כך שכמות החומר שהוא נדרש לקרוא כל יום היא בלתי נתפסת. 'אי אפשר לקרוא כל יום את מלחמה ושלום', הוא אמר. ואכן, כולנו נדרשים לקרוא כמויות אינסופיות של תוכן - לעבודה, ללימודים, וכן הלאה.
"דמיינו שאתם מסתכלים על מסמך בן 100 עמודים. אתם מסתכלים עליו, הוא נראה אינסופי, אבל לפני שהעיניים מתחילות להזדגג - בצד ימין מופיעים סיכומונים קטנים של החלקים הרלוונטיים במסמך. אלה הם סיכומים חכמים - לא רק מילות מפתח, אלא תמצות של פסקה אחת או יותר בצורה קצרה וקלה לקריאה. כך אפשר לקרוא את המסמך בעשירית מהזמן שהיה לוקח לקריאה מלאה - ואם יש חלק שמתעניינים בו במיוחד, המערכת תראה לכם את המקור שלו בטקסט כדי שתוכלו להעמיק.
"המוצר הזה בשלב מוקדם הרבה יותר לעומת Wordtune, אבל גם בו אנחנו רואים גדילה מהירה בשימוש, וחוזים לו עתיד ורוד - כי כולנו צריכים לקרוא הרבה".
"מאחר שבנינו טכנולוגיה מאוד מתוחכמת למודלי שפה, החלטנו להנגיש לפחות חלק ממנה למפתחים - כדי להשפיע באמת על העולם, ולא רק על מי שייחשפו למוצרים שלנו. התחלנו במודל Jurassic 1, שדומה מאוד למודל עיבוד שפה ידוע, GPT3, שיצרה מעבדת Open AI. בנינו אותו כי לא רצינו להסתמך על מודל של חברה אחרת, טוב ככל שיהיה. לאחרונה הכרזנו על מודל חדש בסטודיו - Jurassic X שמאפשר לשותפים להטמיע את הפתרון הזה בשירותים שלהם".
"אנחנו באמת חברה לא שגרתית. יש לנו טכנולוגיות פורצות דרך מהשורה הראשונה בעולם, ואי אפשר היה לבנות אותם ללא צוות שכולל כמה מהאלגוריתמיקאים, המהנדסים, אנשי המוצר והמעצבים הטובים שיש. כמי שהיה לו הכבוד להיות מעורב בחברות ענק ובחברות מצליחות שעזרתי להקים, עוד לא ראיתי צוות באיכות כזאת. יש כאן אנשי אשכולות אמיתיים, וכולם מחויבים להמשיך לקדם את המדע והטכנולוגיה, עם מוצרים חדשים שיוצאים בקצב נחשוני. מכל הדברים שעשיתי - כיף כזה עוד לא היה לי".
_______________________
AI21 Labs
מנכ"לים: אורי גושן, מנכ״ל-שותף, פרופ׳ יואב שוהם , מנכ״ל-שותף
שנת הקמה: 2017
מיקום: תל אביב
מספר עובדים: 120
ליצירת קשר: info@ai21.com
