OpenAI סוף סוף עשתה משהו שכל מי שחי בעולם ה-AI חיכה לו: היא הציגה שבב מותאם אישית משלה. לא עוד “עוד GPU ועוד כרטיס מסך”, אלא מעבד ייעודי לריצה של מודלים שכבר מאומנים. השם שבחרו: Jalapeño. וזה לא רק גימיק קולינרי. זה ניסיון ממשי להוריד עלויות ולהגדיל יעילות, במיוחד כשמדובר ב-inference שמתרחש בכל פעם שמישהו מבקש תשובה.
לפי ההודעה, את Jalapeño פיתחה OpenAI יחד עם Broadcom. השבב תוכנן במיוחד לצרכים הייחודיים של מערכות האינפרנס של OpenAI. החברה גם טוענת שהמודלים שלה עצמם סייעו בתהליך פיתוח השבב. כן, AI עזר לייצר AI, רק שהפעם זה לא כדי לכתוב פוסט אלא כדי לבנות חומרה.
הם עדיין בשלבי בדיקות, אבל כבר יש “תוצאות מוקדמות” שמצביעות על שיפור משמעותי ביחס בין ביצועים לצריכת חשמל, לעומת פתרונות קיימים ברמת ה-state of the art. אם זה באמת יישאר ככה, זה יכול להפוך את האינפרנס ליותר זול משמעותית. וב-AI, זול זה לא קישוט. זה ההבדל בין “וואו” לבין “אפשר בקצב מסחרי”.
למה בכלל צריך שבב חדש?
כי אינפרנס הוא החלק שחוזר על עצמו בלי הפסקה. כשאתם מקלידים בקשה, האפליקציה לא “מאמנת את עצמה מחדש”. היא פשוט מריצה מודל מוכן. וזה בדיוק התפקיד של Jalapeño.
בגדול, המהלך הזה יושב על אותו רעיון שראינו אצל אחרות: AI accelerators, כלומר שבבי סיליקון שנבנו כדי לזרז עומסי עבודה של למידת מכונה. גם גוגל וגם אמזון כבר עשו מהלכים דומים בעבר, פשוט כי כשאתה מפעיל הרבה מאוד מודלים, אתה מהר מאוד מבין ש-GPUs הם פתרון מצוין… אבל לא תמיד הפתרון הכי יעיל לכל תרחיש.
האם זה מחליף את Nvidia?
לא בהכרח, ובטח לא מהיום להיום. OpenAI מתמקדת כאן באינפרנס, בעוד שמשימות כבדות יותר כמו pre-training עדיין צפויות להישען על חומרה חזקה יותר מהעולם של Nvidia. אבל אפילו אם רק חלק מהעלות של אינפרנס יורדת, זה יכול להשפיע בצורה דרמטית על השורה התחתונה. כי אינפרנס הוא כמו חשמל: אתה לא מרגיש אותו כשאתה מדליק מנורה אחת, אבל כשכל העיר נדלקת, פתאום אתה בודק תעריפים.
השורה התחתונה של כלכלת ה-AI
האופטימיזציה של מערכת האינפרנס יכולה להיות אחד הגורמים המרכזיים בכלכלת ה-AI קדימה. וזה גם אומר שזה לא יושב רק על השבב עצמו. כנראה שכל שכבה בערימה תעבור כוונון: החל מארכיטקטורת שבב, דרך kernels, זיכרון, רשת, תזמון, מערכות פריסה ועד ממש חוויית המוצר.
במילים פשוטות: אם יש לך שבב שמותאם למטרה, אתה רוצה שגם כל השאר “ידבר איתו” בצורה הכי חכמה שיש. אחרת אתה מקבל שבב מעולה שמדבר בשפה לא בדיוק נכונה, ואז כולם מתפלאים למה הוא לא עושה קסמים.
מה עוד OpenAI עושה מעבר לשבב?
OpenAI כבר עובדת על מוצרים “סוכניים” כמו Codex, ועל המודלים שמפעילים אותם. במקביל היא גם בונה תשתיות להפעלת אותם מודלים, כולל מרכזי נתונים. שבב ייעודי הוא עוד צעד באותה שרשרת: פחות תלות במה שמישהו אחר מספק לך, יותר שליטה על עלות, ביצועים וזמינות.
בקיצור: Jalapeño הוא לא רק עוד כותרת טכנולוגית. הוא ניסיון להפוך את האינפרנס ליעיל יותר, והיעילות הזאת היא בדיוק המקום שבו חברות AI או מרוויחות או “שורפות תקציב” בקצב של סרטי אקשן. עכשיו נשאר לראות אם התוצאות המוקדמות יהפכו לגרסה יציבה שתעמוד בעומס אמיתי. כי באינפרנס, אין דבר יותר קשוח מאנשים שמקלידים מהר ומצפים לתשובה מיידית.
