ನಿಮ್ಮ 70B ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡೆಲ್ ಅನ್ನು ಈಗ ಯಾರೂ ಬಯಸುವುದಿಲ್ಲ
AI ಜಗತ್ತು ಕೇವಲ ಪ್ರಮಾಣದ (scale) ಮೇಲೆ ಮಾತ್ರ ಗಮನ ಹರಿಸುತ್ತಿತ್ತು.
ಜನರು ದೊಡ್ಡ ಮಾಡೆಲ್ಗಳು, ದೊಡ್ಡ context windows ಮತ್ತು ದೊಡ್ಡ benchmarks ಗಳ ಹಿಂದೆ ಬಿದ್ದರು. ನಿಮ್ಮ ಮಾಡೆಲ್ ಬೃಹತ್ ಆಗಿರದಿದ್ದರೆ, ನೀವು ಈ ಸ್ಪರ್ಧೆಯಲ್ಲಿ ಇಲ್ಲ ಎಂದರ್ಥ.
ಆ ಯುಗವು ಅಂತ್ಯಗೊಳ್ಳುತ್ತಿದೆ.
ಬೃಹತ್ ಮಾಡೆಲ್ಗಳು ಆಕರ್ಷಕವಾಗಿವೆ. ಆದರೆ ಹೆಚ್ಚಿನ ಜನರಿಗೆ ಅಷ್ಟು ಹೆಚ್ಚಿನ ಶಕ್ತಿಯ ಅಗತ್ಯವಿಲ್ಲ. ಕಾರಿನ ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಅಸಿಸ್ಟೆಂಟ್ಗೆ ಕವಿತೆಗಳನ್ನು ಬರೆಯುವ ಅಗತ್ಯವಿಲ್ಲ. ಅದಕ್ಕೆ "AC ಕಡಿಮೆ ಮಾಡು" ಎಂಬ ಮಾತನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಮತ್ತು ಬ್ಯಾಟರಿಯನ್ನು ಖಾಲಿ ಮಾಡದೆ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಅಗತ್ಯವಿದೆ.
ಐದು ಮುಖ್ಯ ಕಾರಣಗಳಿಂದಾಗಿ ಸಣ್ಣ, ವಿಶೇಷ ಮಾಡೆಲ್ಗಳು (specialized models) ಈಗ ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸುತ್ತಿವೆ:
- On-device ಬಳಕೆ: ಫೋನ್ಗಳಲ್ಲಿ ಈಗ ಸಣ್ಣ ಮಾಡೆಲ್ಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ (locally) ಚಲಾಯಿಸಲು ಅಗತ್ಯವಿರುವ ಹಾರ್ಡ್ವೇರ್ ಇದೆ. ನಿಮ್ಮ ಅಸಿಸ್ಟೆಂಟ್ ಇಂಟರ್ನೆಟ್ ಇಲ್ಲದಿದ್ದರೂ ಸುರಂಗಗಳಲ್ಲಿ ಅಥವಾ ವಿಮಾನದಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
- ಗೌಪ್ಯತೆ ಮತ್ತು ನಿಯಮಗಳು: ಆಸ್ಪತ್ರೆಗಳು ಮತ್ತು ಕಾನೂನು ಸಂಸ್ಥೆಗಳು ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ಮೂರನೇ ವ್ಯಕ್ತಿಯ (third-party) API ಗೆ ಕಳುಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಸ್ಥಳೀಯ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಸಣ್ಣ ಮಾಡೆಲ್ ಅನ್ನು ಚಲಾಯಿಸುವುದರಿಂದ ಡೇಟಾ ಸಂಸ್ಥೆಯ ಒಳಗೇ ಇರುತ್ತದೆ.
- ಕಡಿಮೆ ವಿಳಂಬ (Low latency): ಒಂದು ಸ್ವಯಂಚಾಲಿತ ಕಾರು (self-driving car), ಒಂದು ಆಕೃತಿಯು ಪಾದಚಾರಿ ಎಂದು ನಿರ್ಧರಿಸಲು ಕ್ಲೌಡ್ ಸರ್ವರ್ನ ನಿರೀಕ್ಷೆ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಸ್ಥಳದಲ್ಲೇ ಮಾಡೆಲ್ ಇರಬೇಕು.
- ಕಡಿಮೆ ವೆಚ್ಚ: ಬೃಹತ್ ಮಾಡೆಲ್ ಮೇಲೆ ಲಕ್ಷಾಂತರ ವಿನಂತಿಗಳನ್ನು (requests) ಚಲಾಯಿಸುವುದು ನಿಮ್ಮ ಲಾಭದ ಪ್ರಮಾಣವನ್ನು ಕುಗ್ಗಿಸುತ್ತದೆ. ಸರಿಯಾಗಿ ಟ್ಯೂನ್ ಮಾಡಿದ ಸಣ್ಣ ಮಾಡೆಲ್ ಹೆಚ್ಚಾಗಿ ಅಗ್ಗ ಮತ್ತು ಸುಸ್ಥಿರವಾಗಿರುತ್ತದೆ.
- ಕಳಪೆ ಸಂಪರ್ಕ: ಪ್ರಪಂಚದ ಅನೇಕ ಭಾಗಗಳಲ್ಲಿ, ಇಂಟರ್ನೆಟ್ ನಿರಂತರವಾಗಿ ಇರುವುದಿಲ್ಲ. ಸಣ್ಣ ಮಾಡೆಲ್ಗಳು ಉತ್ಪನ್ನಗಳು ಆಫ್ಲೈನ್ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ.
ನೀವು ಮೂರು ಮುಖ್ಯ ವಿಧಾನಗಳನ್ನು ಬಳಸಿ ಮಾಡೆಲ್ಗಳನ್ನು ಚಿಕ್ಕದಾಗಿ ಮಾಡಬಹುದು:
- Quantization: ಸ್ಥಳವನ್ನು ಉಳಿಸಲು ಮಾಡೆಲ್ ತೂಕದ (weights) ನಿಖರತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು.
- Pruning: ಯಾವುದೇ ಮೌಲ್ಯವನ್ನು ಸೇರಿಸದ ಅನಗತ್ಯ ಸಂಪರ್ಕಗಳನ್ನು ತೆಗೆದುಹಾಕುವುದು.
- Knowledge distillation: ದೊಡ್ಡ ಮಾಡೆಲ್ ತನ್ನ ತರ್ಕವನ್ನು (reasoning) ಹೇಗೆ ಅನುಕರಿಸಬೇಕು ಎಂದು ಸಣ್ಣ ಮಾಡೆಲ್ಗೆ ಕಲಿಸಲು ಬಳಸುವ ವಿಧಾನ.
ಈ ಬದಲಾವಣೆಯು ಅಗತ್ಯವಿರುವ ಕೌಶಲ್ಯದ ಗುಂಪನ್ನು (skill set) ಬದಲಾಯಿಸುತ್ತದೆ.
ಬೃಹತ್ ಮಾಡೆಲ್ಗೆ ಪ್ರಾಂಪ್ಟ್ (Prompting) ನೀಡುವುದು ಒಂದು ಕೌಶಲ್ಯವಾದರೆ, ಒಂದು ವಿಶೇಷ ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು, ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡುವುದು ಮತ್ತು ನಿಯೋಜಿಸುವುದು (deploying) ವಿಭಿನ್ನ ಇಂಜಿನಿಯರಿಂಗ್ ಸವಾಲಾಗಿದೆ. ಇದು ವೇಗ, ವೆಚ್ಚ ಮತ್ತು ನಿಖರತೆಯ ನಡುವೆ ಸಮತೋಲನವನ್ನು (tradeoffs) ಕಾಯ್ದುಕೊಳ್ಳುವ ಬಗ್ಗೆಯಾಗಿದೆ.
ಎಲ್ಲವನ್ನೂ ಕಳಪೆಯಾಗಿ ಮಾಡುವ ಒಂದು ಬೃಹತ್ ಸಾಧನವನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಯತ್ನಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಒಂದು ಕೆಲಸವನ್ನು ಉತ್ತಮವಾಗಿ ಮಾಡುವ ಹಲವಾರು ಸಣ್ಣ ಸಾಧನಗಳನ್ನು ನಿರ್ಮಿಸಿ.
ಸಣ್ಣ ಮಾಡೆಲ್ ಎನ್ನುವುದು ಹಿನ್ನಡೆಯಲ್ಲ (downgrade). ಅದು ಕೆಲಸಕ್ಕೆ ಹೆಚ್ಚು ಸೂಕ್ತವಾದ ಸಾಧನವಾಗಿದೆ.
Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo
Optional learning community: https://t.me/GyaanSetuAi