ההימור של Microsoft על AI משתלם
דוח הרווחים האחרון של Microsoft מראה ש-Azure צמח ב-28% משנה לשנה. שירותי AI תרמו 6 נקודות לצמיחה הזו. זה מוכיח שההשקעה ב-OpenAI עובדת.
Azure OpenAI הוא המנוע העיקרי. הוא מעניק לחברות גישה ל-GPT-4 עם אבטחה ברמה ארגונית (enterprise security).
הרצת המודלים הללו בקנה מידה רחב מביאה איתה אתגרים טכניים. צוות אחד נתקל במגבלות בקשות (request limits) ונאלץ לשנות את הארכיטקטורה שלו. הם עברו ממאזן עומסים (load balancer) יחיד לפיצול (sharding) של נקודות קצה (endpoints) על פני שלושה אזורים. תיקון זה שמר על שיהוי (latency) נמוך. הם גם השתמשו ב-Redis cache כדי לצמצם את חיפושי הוקטורים (vector lookups) ב-40%.
Microsoft 365 Copilot הוא מנוע צמיחה נוסף. העלות היא 30$ למשתמש בכל חודש. אם 10% מהמשתמשים המסחריים יאמצו אותו, Microsoft תרוויח 14.4 מיליארד דולר בהכנסות שנתיות. זוהי הזדמנות אדירה.
היישום דורש עבודה קפדנית. חברת ייעוץ גלובלית ראתה הפחתה של 15% בזמן ניסוח מסמכים לאחר השימוש ב-Copilot. עם זאת, הם נאלצו לכתוב סקריפטים מותאמים אישית לניהול הרישוי (licensing). הם גם נאלצו לקבוע מדיניות נתונים מחמירה כדי להגן על המידע של הלקוחות.
גם GitHub Copilot מראה עוצמה. יש לו 1.3 מיליון מנויים בתשלום. גרסאות enterprise חדשות עוזרות לארגונים גדולים לנהל קוד טוב יותר.
Microsoft מתמודדת עם סיכון עיקרי אחד. הם מסתמכים בכבדות על OpenAI. אם מערכת היחסים הזו תשתנה, זה ישפיע על ההכנסות שלהם. Microsoft מנהלת זאת על ידי הוספת מודלים אחרים כמו Llama 2 ו-Mistral ל-Azure.
שימוש במודלים קטנים יותר יכול לחסוך כסף. מודל Llama 2 עולה 0.35$ למיליון טוקנים (tokens). GPT-4 עולה 2.50$ לכמות זהה. עבור משימות פשוטות, המודל הזול יותר עובד היטב למרות שיהוי (latency) גבוה יותר.
Microsoft בונה גם מודלים קטנים משלה בשם Phi. זה מפחית את התלות שלהם בשותפים חיצוניים.
Source: https://dev.to/lavkeshdwivedi/microsofts-ai-bet-pays-off-2df2
Optional learning community: https://t.me/GyaanSetuAi