מודל קימי K3 משנה את התמונה - אבל, לא איך שחשבתם. 💡
ההשקה של מודל Kimi K3 גרמה לאחרונה לסערה ולירידות במניות השבבים - בדומה למה שקרה לאחר השקת DeepSeek.
בגלל החשש שמודלים יעילים יותר יפחיתו את הצורך בכח מחשוב רב.
אבל ככל שמתפרסמים יותר פרטים טכניים - מתבררת תמונה מעט שונה ממה שכולם חושבים...
נתחיל בדרש ונעבור לפשט -
מודל Kimi K3 הוא מודל קוד פתוח עצום עם 2.8 טריליון פרמטרים - חוט הקשר של מיליון טוקנים, וארכיטקטורת Mixture of Experts עם רמת דלילות גבוהה.
המשמעות היא שלא כל הפרמטרים מופעלים בכל בקשה - ולכן יעילות החישוב משתפרת וניתן לבצע הסקה בעלות נמוכה יותר.
אבל יש נקודה חשובה שרבים מפספסים - הפשט:
למרות שהמודל משתמש בפחות כוח חישוב לכל בקשה - כל הפרמטרים עדיין צריכים להיות מאוחסנים בזיכרון - והם תופסים כ-1.4 טרה-בייט של זיכרון.
לכן, כדי להפעיל את המודל בקנה מידה גדול - נדרשת תשתית עם קיבולת זיכרון עצומה וזיכרון מהיר במיוחד.
בנוסף, Kimi K3 מיועד במיוחד למשימות קידוד ולסוכני AI, משימות שמבצעות קריאות חוזרות למודל לאורך זמן ודורשות יכולת הסקה ממושכת,
עומסי העבודה האלה הופכים את רוחב הפס של הזיכרון ואת קיבולת ה-HBM לחלק מרכזי בביצועים.
לכן, בעוד שהביקוש לכוח חישוב לכל טוקן עשוי להשתפר - הביקוש לזיכרון איכותי ולמערכות GPU עם כמויות HBM גדולות עשוי דווקא להמשיך לגדול.
גם המציאות בשטח מחזקת את הטענה הזו:
בתוך שעות מההשקה הביקוש למודל חרג מהקיבולת הזמינה שלה - והחברה שמאחורי קימי K3 נאלצה לעצור זמנית קבלת מנויים חדשים ולהקצות את כוח המחשוב הקיים למשתמשים משלמים בלבד.
ב-27 ביולי החברה צפויה לפרסם את משקלי המודל בקוד פתוח - המשמעות היא שכל ארגון יוכל להפעיל את Kimi K3 בעצמו,
אבל - כדי לעשות זאת בקנה מידה מסחרי עדיין יהיה צורך בהשקעה משמעותית בשרתי AI ובחומרה עתירת זיכרון.
במקביל, גם Alibaba הציגה מודל חדש עם 2.4 טריליון פרמטרים - מה שמעיד שהתחרות בין חברות ה-AI הסיניות רק מתגברת.
המשמעות הרחבה יותר היא שאולי התחרות בין המודלים תוביל לירידת מחירים בשירותי AI,
אבל היא גם עלולה להוביל לגל נוסף של השקעות בתשתיות, שרתים, GPU וזיכרון כדי להפעיל את אותם מודלים עבור מיליוני משתמשים.
בסופו של דבר,
הוויכוח כבר לא מסתכם בשאלה כמה כוח חישוב צריך כל מודל - אלא בכמה זיכרון נדרש כדי להחזיק ולהריץ אותו בקנה מידה גדול.
במקרה של Kimi K3, נראה שהיתרון ביעילות החישוב לא מבטל את הצורך בחומרה מתקדמת (מה שגרם לשוק לחשוש) - אלא משנה את מוקד הביקוש לכיוון מערכות עתירות זיכרון. 💡
