טרנספורמרים בקנה מידה ליניארי מפחיתים את זיכרון מודל החלבון מריבועית לליניארית

חוקרים הראו כי טרנספורמרים בעלי הקשר ארוך (long-context transformers) הניתנים להרחבה ליניארית יכולים לאמן מודלי שפה מוסתרים (masked language models) על רצפי חלבונים ללא התנפחות הזיכרון המשתקת טרנספורמרים סטנדרטיים. על ידי הפיכת עלות הזיכרון מריבועית לליניארית, השיטה מאפשרת למדענים לעבוד עם חלבונים ארוכים בהרבה ממה שהיה אפשרי בעבר, צעד שעשוי להאיץ את גילוי התרופות ואת המחקר הביוטכנולוגי.

מדוע טרנספורמרים סטנדרטיים מגיעים למבוי סתם

מאגרי מידע של חלבונים מכילים רצפים שלעיתים קרובות מתפרסים על פני אלפי חומצות אמינו. מודלי טרנספורמר קונבנציונליים מחשבים קשב (attention) בין כל זוג של מיקומים, תהליך שגדל בריבוע אורך הרצף. ככל שהרצף גדל, צריכת הזיכרון מזנקת, מה שמאלץ את המשתמשים לקצר חלבונים או לפצל אותם למקטעים. אובדן ההקשר פוגע ביכולת המודל ללמוד מוטיבים מבניים המשתרעים על פני חלקים נרחבים של השרשרת.

הפריצה של הגישה הליניארית

הגישה החדשה מחליפה self-attention מלא בעיצוב שהזיכרון שלו גדל באופן ליניארי בלבד עם אורך הרצף. בפועל, המודל יכול לעבד חלבון שלם במעבר אחד, תוך שימור אינטראקציות ארוכות טווח החיוניות לקיפול (folding) ולתפקוד. מכיוון שהאלגוריתם זקוק למשאבי זיכרון קטנים בהרבה, אימון על מאגרי חלבונים גדולים הופך לזול ומהיר יותר, מה שפותח פתח למטרות masked-language-model (MLM) עשירות יותר המסתירות וחוזות חומצות אמינו לאורך כל השרשרת.

מה זה אומר עבור הביולוגיה

ייצוגי חלבון ארוכים ורציפים משפרים את הבנת המודל במבנה תלת-ממדי, באתרים פעילים ודפוסים אבולוציוניים. חוקרים יכולים כעת לבצע pre-train על אוספי רצפים עצומים ולא מסוננים, ולבצע fine-tune למשימות ספציפיות כגון חיזוי השפעת מוטציות או תכנון נוגדנים. העומס החישובי המופחת גם מוריד את חסם הכניסה למעבדות קטנות יותר להרצת מודלים מתקדמים (state-of-the-art) על חומרה צנועה.

אזהרות ושאלות פתוחות

קשב בקנה מידה ליניארי מסתמך לעיתים קרובות על קירובים — חלונות נעים (sliding windows), פירוקי דירוג נמוך (low-rank factorizations) או תבניות דלילות (sparse patterns) — שעלולים להחמיץ אינטראקציות עדינות בין שאריות (residues) מרוחקות. ניסויים ראשוניים מצביעים על פשרה (trade-off) מתונה בין חיסכון בזיכרון לבין דיוק חיזוי, במיוחד במשימות הדורשות צימוד (coupling) מדויק ארוך טווח. הארכיטקטורה החדשה מוסיפה גם מורכבות ביישום, מה שעלול להאט את האימוץ שלה עד שיופיעו ספריות תוכנה יציבות.

מה כדאי לעקוב אחריו בהמשך

הקהילה תעקוב אחר תוצאות בנצ'מרק שישוו את ביצועי ה-protein-MLM של הטרנספורמר הליניארי מול מודלים מסורתיים על מאגרי נתונים סטנדרטיים. שילוב בתוך צינורות עיבוד (pipelines) קיימים בביואינפורמטיקה ושחרור גרסאות קוד פתוח יקבעו עד כמה מהר הטכניקה תתפשט. אם פער הדיוק יצטמצם, השיטה עשויה להפוך לברירת המחדל למידול שפה של חלבונים בקנה מידה גדול, ולעצב מחדש את האופן שבו ביולוגיה חישובית מתמודדת עם בעיית קיפול החלבונים.

שורה תחתונה: על ידי צמצום דרישות הזיכרון מריבועית לליניארית, טרנספורמרים בעלי הקשר ארוך הופכים רצפי חלבונים באורך מלא לניתנים לעיבוד עבור מודלי שפה מוסתרים (MLM), מה שמבטיח תובנות ביולוגיות עשירות יותר תוך שמירה על עלויות חישוב מאוזנות.