ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್‌ಗಳ ಆಚೆಗೆ: LLMಗಳ ಮುಂದಿನ ಯುಗವನ್ನು ಮರು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತಿರುವ ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳು

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ (LLMs) ಕಂಪ್ಯೂಟೇಶನಲ್ ಬೇಡಿಕೆಗಳು ತೀವ್ರಗೊಳ್ಳುತ್ತಿರುವುದರಿಂದ, ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಯುಗವು ಒಂದು ಮೂಲಭೂತ ಅಡಚಣೆಯನ್ನು (bottleneck) ಎದುರಿಸುತ್ತಿದೆ. 2017 ರ "Attention Is All You Need" ಪ್ರಬಂಧವು ಪ್ರಸ್ತುತ AI ಬೆಳವಣಿಗೆಗೆ ಅಡಿಪಾಯ ಹಾಕಿದ್ದರೂ, ನಿಜವಾದ ದಕ್ಷತೆಯನ್ನು ಸಾಧಿಸಲು ಅದರ ಮೂಲ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು (architecture) ಬದಲಾಯಿಸಲು ಅಥವಾ ಮರುಸೃಷ್ಟಿಸಲು ಈಗ ಹೊಸ ತಲೆಮಾರಿನ ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳು ಪೈಪೋಟಿ ನಡೆಸುತ್ತಿವೆ.

ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಅಡಚಣೆ: ಡೆನ್ಸ್ ಅಟೆನ್ಷನ್ (Dense Attention) ಏಕೆ ವಿಫಲವಾಗುತ್ತಿದೆ?

ಸುಮಾರು ಒಂದು ದಶಕದಿಂದ, "ಡೆನ್ಸ್ ಅಟೆನ್ಷನ್" ಎಂಬ ಕಾರ್ಯವಿಧಾನದ ಮೂಲಕ ಚಾಲಿತವಾಗುತ್ತಿರುವ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ AI ಉದ್ಯಮದ ಇಂಜಿನ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ. ಈ ಪ್ರಕ್ರಿಯೆಯು ಪಠ್ಯದ ಪ್ರತಿ ಟೋಕನ್ ಅನ್ನು ಇತರ ಎಲ್ಲಾ ಟೋಕನ್‌ಗಳೊಂದಿಗೆ ಬೃಹತ್ ಪ್ರಮಾಣದ ಗುಣಾಕಾರದ ಮೂಲಕ ಹೋಲಿಕೆ ಮಾಡುತ್ತದೆ. ಇದು ಅರ್ಥದ (semantic meaning) ನಿಖರತೆಯನ್ನು ಹಿಡಿಯುವಲ್ಲಿ ಅತ್ಯಂತ ನಿಖರವಾಗಿದ್ದರೂ, ಇದರ ಗಣಿತದ ಸಂಕೀರ್ಣತೆಯು (mathematical complexity) ಅತಿಯಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ.

ಉದಾಹರಣೆಗೆ, 10,000 ಪದಗಳ ದಾಖಲೆಯು ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಅನ್ನು ಸುಮಾರು 50 ಮಿಲಿಯನ್ ಗುಣಾಕಾರಗಳನ್ನು ಮಾಡಲು ಪ್ರೇರೇಪಿಸಬಹುದು. ಕಂಪ್ಯೂಟೇಶನ್‌ನಲ್ಲಿನ ಈ ವರ್ಗೀಯ ಬೆಳವಣಿಗೆಯು (quadratic growth) ಎರಡು ದೊಡ್ಡ ಸವಾಲುಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ: ಏರುತ್ತಿರುವ ಇಂಧನ ಬಳಕೆ ಮತ್ತು ಸೀಮಿತ ಕಾನ್ಟೆಕ್ಸ್ ವಿಂಡೋಗಳು (context windows). OpenAI ಈ ವರ್ಷ ಕಂಪ್ಯೂಟಿಂಗ್‌ಗಾಗಿ 50 ಬಿಲಿಯನ್ ಡಾಲರ್ ಖರ್ಚು ಮಾಡಲು ಸಿದ್ಧವಾಗಿದೆ ಎಂದು ವರದಿಯಾದಾಗ ಮತ್ತು 2030 ರ ವೇಳೆಗೆ ಡೇಟಾ ಸೆಂಟರ್ ವಿದ್ಯುತ್ ಬೇಡಿಕೆಯು ದ್ವಿಗುಣಗೊಳ್ಳುವ ನಿರೀಕ್ಷೆಯಿರುವಾಗ, ಉದ್ಯಮವು ವೆಚ್ಚ ಮತ್ತು ಭೌತಶಾಸ್ತ್ರ ಎರಡರಲ್ಲೂ ಅಡಚಣೆಯನ್ನು ಎದುರಿಸುತ್ತಿದೆ.

ಅಟೆನ್ಷನ್ ಬಗ್ಗೆ ಮರುಚಿಂತನೆ: ಸ್ಪಾರ್ಸ್ ಮೆಕ್ಯಾನಿಸಮ್‌ಗಳ (Sparse Mechanisms) ಉದಯ

ದಕ್ಷತೆಯ ಬಿಕ್ಕಟ್ಟನ್ನು ಪರಿಹರಿಸಲು, ಹಲವಾರು ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳು ಡೆನ್ಸ್ ಅಟೆನ್ಷನ್‌ನಿಂದ "ಸ್ಪಾರ್ಸ್ ಅಟೆನ್ಷನ್" (sparse attention) ಕಡೆಗೆ ಸಾಗಲು ಪ್ರಯತ್ನಿಸುತ್ತಿವೆ. ಪ್ರತಿಯೊಂದು ಸಂಭವನೀಯ ಪದಗಳ ಜೋಡಣೆಯನ್ನು ಲೆಕ್ಕಹಾಕುವ ಬದಲು, ಸ್ಪಾರ್ಸ್ ಅಟೆನ್ಷನ್ ಕೇವಲ ಅತ್ಯಂತ ಪ್ರಸ್ತುತವಾದ ಸಂಬಂಧಗಳ ಮೇಲೆ ಗಮನ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ, ಇದು ಕಂಪ್ಯೂಟೇಶನಲ್ ಹೊರೆಯನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಮಿಯಾಮಿ ಮೂಲದ ಸ್ಟಾರ್ಟ್‌ಅಪ್ Subquadratic ತನ್ನ SubQ ಮಾಡೆಲ್ ಮೂಲಕ ಈ ಕ್ಷೇತ್ರದಲ್ಲಿ ಮುಂಚೂಣಿಯಲ್ಲಿದೆ. ನಿಖರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳಲು ಕಷ್ಟಪಡುತ್ತಿದ್ದ ಹಿಂದಿನ ಸ್ಪಾರ್ಸ್ ಮೆಕ್ಯಾನಿಸಮ್‌ಗಳಿಗ Unlike, Subquadratic ತನ್ನ ತಂತ್ರಜ್ಞಾನವು ಕೋಡಿಂಗ್ ಮತ್ತು ಸರ್ಚ್‌ನಂತಹ ವಿಶೇಷ ಕಾರ್ಯಗಳಲ್ಲಿ ಪ್ರಮುಖ LLMಗಳಿಗೆ ಸರಿಸಾಟಿಯಾಗಿದೆ ಎಂದು ಹೇಳಿಕೊಳ್ಳುತ್ತದೆ. ಅವರ ವಿಧಾನವು ಅಪ್ರಸ್ತುತ ಟೋಕನ್‌ಗಳ ಮೇಲೆ ಸಮಯ ವ್ಯರ್ಥ ಮಾಡುವ ಬದಲು, ಒಂದು ನಿರ್ದಿಷ್ಟ ಪಠ್ಯಕ್ಕೆ ಯಾವ ಪದಗಳು ನಿಜವಾಗಿಯೂ ಮುಖ್ಯ ಎಂಬುದನ್ನು ತಕ್ಷಣವೇ ಗುರುತಿಸುವ ಡೈನಾಮಿಕ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಒಳಗೊಂಡಿದೆ.

ಪವರ್ ರಿಟೆನ್ಷನ್ (Power Retention): ರೋಲಿಂಗ್ ಸಮ್ಮರಿಗಳತ್ತ ಸಾಗುವಿಕೆ

ಮತ್ತೊಂದು ವಿಧಾನವು ಅಟೆನ್ಷನ್ ಮೆಕ್ಯಾನಿಸಂನಿಂದ ಸಂಪೂರ್ಣವಾಗಿ ಹೊರಬರುವುದನ್ನು ಒಳಗೊಂಡಿದೆ. ಸ್ಯಾನ್ ಫ್ರಾನ್ಸಿಸ್ಕೋ ಮೂಲದ Manifest AI "ಪವರ್ ರಿಟೆನ್ಷನ್" ಎಂಬ ತಂತ್ರಜ್ಞಾನವನ್ನು ಪರಿಚಯಿಸುತ್ತಿದೆ. SubQ ನಂತಹ ಸ್ಪಾರ್ಸ್ ಅಟೆನ್ಷನ್ ಮಾಡೆಲ್‌ಗಳು ಇಡೀ ಕಾನ್ಟೆಕ್ಸ್ ವಿಂಡೋದ ಅಂದಾಜು ಚಿತ್ರಣವನ್ನು ಉಳಿಸಿಕೊಳ್ಳಲು ಪ್ರಯತ್ನಿಸಿದರೂ, ಪವರ್ ರಿಟೆನ್ಷನ್ ಮಾಡೆಲ್‌ಗೆ ಅದರ ನೆನಪಿನ (memory) ರೋಲಿಂಗ್ ಸಮ್ಮರಿಯನ್ನು ಒದಗಿಸುವ ಮೂಲಕ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

ಹೊಸ ಮಾಹಿತಿ ಕಾನ್ಟೆಕ್ಸ್ ವಿಂಡೋಗೆ ಪ್ರವೇಶಿಸಿದಾಗ, ಮಾಡೆಲ್ ಕಡಿಮೆ ಪ್ರಸ್ತುತವಾದ ಡೇಟಾವನ್ನು ಗುರುತಿಸಿ ಕೈಬಿಡುತ್ತದೆ, ಇದರಿಂದ ಇನ್‌ಪುಟ್ ಗಾತ್ರ ಏನೇ ಇರಲಿ ಕಂಪ್ಯೂಟೇಶನಲ್ ಹೊರೆಯನ್ನು ನಿರ್ವಹಣಾ ಕೈಯಲ್ಲಿಡಬಹುದು. Manifest AI ಈಗಾಗಲೇ ಈ ವಿಧಾನದ ಕಾರ್ಯಸಾಧ್ಯತೆಯನ್ನು ಈ ಕೆಳಗಿನವುಗಳ ಮೂಲಕ ತೋರಿಸಿಕೊಟ್ಟಿದೆ:

• ಪವರ್ ರಿಟೆನ್ಷನ್ ಬಳಸಿ ಓಪನ್-ಸೋರ್ಸ್ StarCoder ಮಾಡೆಲ್ ಅನ್ನು PowerCoder ಆಗಿ ಪರಿವರ್ತಿಸುವುದು.
• ಅಲಿಬಾಬಾದ ಜನಪ್ರಿಯ Qwen ಓಪನ್-ಸೋರ್ಸ್ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಸರಿಸಾಟಿಯಾದ Brumby ಮಾಡೆಲ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವುದು.

ಅಲ್ಪ ಪ್ರಮಾಣದ ಮರು-ತರಬೇತಿಯೊಂದಿಗೆ (retraining) ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ಪವರ್ ರಿಟೆನ್ಷನ್ ಮಾಡೆಲ್‌ಗಳಾಗಿ ಬದಲಾಯಿಸುವ ಸಾಮರ್ಥ್ಯವು, "LLMs+"—ಮುಂದಿನ ತಲೆಮಾರಿನ ಮಾಡೆಲ್‌ಗಳ ಕಡೆಗೆ ಪರಿವರ್ತನೆಯು ನಿರೀಕ್ಷೆಗಿಂತ ವೇಗವಾಗಿ ನಡೆಯಬಹುದು ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಪ್ರಮುಖ ಅಂಶಗಳು

• ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಮಿತಿ: ಡೆನ್ಸ್ ಅಟೆನ್ಷನ್‌ನ ವರ್ಗೀಯ ಸ್ಕೇಲಿಂಗ್ (quadratic scaling) ಪ್ರಸ್ತುತ LLMಗಳನ್ನು ಚಲಾಯಿಸಲು ಅತ್ಯಂತ ದುಬಾರಿ ಮಾಡುತ್ತದೆ ಮತ್ತು ಬೃಹತ್ ಡೇಟಾ ಸೆಟ್‌ಗಳು ಅಥವಾ ದೀರ್ಘ ರೂಪದ ತರ್ಕಕ್ಕಾಗಿ (long-form reasoning) ಸ್ಕೇಲ್ ಮಾಡುವುದು ಕಷ್ಟವಾಗಿಸುತ್ತದೆ.
• ಸ್ಪಾರ್ಸ್ vs ರಿಟೆನ್ಷನ್: ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳು ಎರಡು ಕಡೆಯಿಂದ ಸಮಸ್ಯೆಯನ್ನು ಎದುರಿಸುತ್ತಿವೆ: Subquadratic ಸ್ಪಾರ್ಸ್ ಲೆಕ್ಕಾಚಾರಗಳ (SubQ) ಮೂಲಕ ಅಟೆನ್ಷನ್ ಅನ್ನು ಉತ್ತಮಗೊಳಿಸುತ್ತಿದೆ, ಆದರೆ Manifest AI ಅದನ್ನು ರೋಲಿಂಗ್ ಸಮ್ಮರಿಗಳೊಂದಿಗೆ (Power Retention) ಬದಲಾಯಿಸುತ್ತಿದೆ.
• ಆರ್ಥಿಕ ಅನಿವಾರ್ಯತೆ: AI ಕಂಪ್ಯೂಟ್ ವೆಚ್ಚಗಳು ಹತ್ತಾರು ಬಿಲಿಯನ್ ಡಾಲರ್‌ಗಳಿಗೆ ತಲುಪುತ್ತಿರುವಾಗ, ಮುಂದಿನ AI ಯುಗದ ವಿಜೇತರು ಕೇವಲ ಬೃಹತ್ ಪ್ರಮಾಣದ (raw scale) ಬದಲಿಗೆ ದಕ್ಷತೆಯನ್ನು (efficiency) ಪರಿಹರಿಸುವವರಾಗುವ ಸಾಧ್ಯತೆಯಿದೆ.