ನಿಮ್ಮ AI ಬಿಲ್ ಮಾಡೆಲ್ ಸಮಸ್ಯೆಯಲ್ಲ. ಅದು ಆರ್ಕಿಟೆಕ್ಚರ್ ಸಮಸ್ಯೆ.
ನಿಮ್ಮ LLM ವೆಚ್ಚಗಳು ಹೆಚ್ಚಾಗುತ್ತಿದ್ದರೆ, ನೀವು ಬಹುಶಃ ಕಡಿಮೆ ಬೆಲೆಯ ಮಾಡೆಲ್ಗೆ ಬದಲಾಯಿಸಲು ಬಯಸುತ್ತೀರಿ. ನೀವು GPT-4 ನಿಂದ GPT-4-mini ಗೆ ಬದಲಾಯಿಸಬಹುದು. ಇದು ಸ್ವಲ್ಪ ಮಟ್ಟಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಆದರೆ ಇದು ನಿಜವಾದ ಸಮಸ್ಯೆಯನ್ನು ಸರಿಪಡಿಸುವುದು ಅಪರೂಪ.
ನಿಜವಾದ ಸಮಸ್ಯೆ ನಿಮ್ಮ ವರ್ಕ್ಫ್ಲೋ (workflow) ಆಗಿದೆ. ಹೆಚ್ಚಿನ ಜನರು ಪ್ರತಿಯೊಂದು ಹಂತವನ್ನೂ LLM ಮೂಲಕವೇ ನಡೆಸುತ್ತಾರೆ. ಅಗತ್ಯವಿಲ್ಲದ ಕೆಲಸಗಳಿಗೂ ಅವರು ಭಾಷಾ ತರ್ಕವನ್ನು (language reasoning) ಬಳಸುತ್ತಾರೆ.
ಪ್ರತಿಯೊಂದು AI ವರ್ಕ್ಫ್ಲೋ ನಾಲ್ಕು ಭಾಗಗಳನ್ನು ಹೊಂದಿದೆ:
• Trigger: ಕೆಲಸವನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತದೆ. ಇದರ ವೆಚ್ಚ ಶೂನ್ಯಕ್ಕೆ ಹತ್ತಿರವಿರುತ್ತದೆ. • Deterministic ML: ಡೇಟಾವನ್ನು ವರ್ಗೀಕರಿಸುತ್ತದೆ ಅಥವಾ ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ. ಇದು ಅಗ್ಗವಾಗಿದೆ. • LLM: ಓದುತ್ತದೆ, ಬರೆಯುತ್ತದೆ ಮತ್ತು ತರ್ಕ ಮಾಡುತ್ತದೆ. ಇದು ದುಬಾರಿಯಾಗಿದೆ. • Tool/API: ಡೇಟಾವನ್ನು ಪಡೆಯುತ್ತದೆ ಅಥವಾ ಬರೆಯುತ್ತದೆ. ಇದು ಅಗ್ಗವಾಗಿದೆ.
Deterministic ML ಮತ್ತು LLM ನಡುವಿನ ವ್ಯತ್ಯಾಸವು ಬಹಳ ದೊಡ್ಡದಿದೆ. ಒಂದು ಸರಳ ಕ್ಲಾಸಿಫೈಯರ್ (classifier) ಗಿಂತ LLM 100 ರಿಂದ 1000 ಪಟ್ಟು ಹೆಚ್ಚು ವೆಚ್ಚವಾಗಬಹುದು. ನೀವು ಪ್ರತಿ ಹಂತಕ್ಕೂ ಸರಿಯಾದ ಸಾಧನವನ್ನು ಆಯ್ಕೆ ಮಾಡದಿದ್ದರೆ, ನೀವು ತಾನಾಗಿಯೇ ದುಬಾರಿ ಸಾಧನವನ್ನೇ ಬಳಸಬೇಕಾಗುತ್ತದೆ.
ಒಂದು ಸಪೋರ್ಟ್ ಟಿಕೆಟ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ಗಮನಿಸಿ.
ಒಂದು ಕೆಟ್ಟ ವಿನ್ಯಾಸವು (bad build) ಇಡೀ ಟಿಕೆಟ್ ಅನ್ನು LLM ಗೆ ಕಳುಹಿಸುತ್ತದೆ. ಉದ್ದೇಶವನ್ನು ವರ್ಗೀಕರಿಸಲು, ಟಿಕೆಟ್ ಅನ್ನು ರೌಟ್ ಮಾಡಲು, ಉತ್ತರದ ಕರಡನ್ನು ಸಿದ್ಧಪಡಿಸಲು ಮತ್ತು CRM ಅನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡಲು ಅದು LLM ಅನ್ನು ಕೇಳುತ್ತದೆ. ಇದು ಅತಿಯಾದ ವೆಚ್ಚದ ಕೆಲಸ. ವರ್ಗೀಕರಣಕ್ಕೆ (Classification) LLM ಅಗತ್ಯವಿಲ್ಲ. ಪಠ್ಯವನ್ನು ಒಂದು ವರ್ಗಕ್ಕೆ (category) ಹೊಂದಿಸಲು ಒಂದು ಸರಳ ಮಾಡೆಲ್ ಸಾಕು.
ಉತ್ತಮವಾದ ವಿನ್ಯಾಸವು ಹೀಗಿರುತ್ತದೆ:
- Trigger: ಒಂದು ಟಿಕೆಟ್ ಬರುತ್ತದೆ.
- Deterministic ML: ಟಿಕೆಟ್ ಬಿಲ್ಲಿಂಗ್, ತಾಂತ್ರಿಕ ಅಥವಾ ಸ್ಪ್ಯಾಮ್ ಆಗಿದೆಯೇ ಎಂದು ಒಂದು ವೇಗದ, ಅಗ್ಗದ ಮಾಡೆಲ್ ನಿರ್ಧರಿಸುತ್ತದೆ.
- LLM: ಮಾನ್ಯವಾದ ಟಿಕೆಟ್ಗಳಿಗೆ ಕೇವಲ ಉತ್ತರದ ಕರಡನ್ನು ಸಿದ್ಧಪಡಿಸಲು ಮಾತ್ರ ಬಳಸಲಾಗುತ್ತದೆ.
- Tool/API: ಸಿಸ್ಟಮ್ CRM ಅನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡುತ್ತದೆ.
ಈ ಆವೃತ್ತಿಯಲ್ಲಿ, ಸ್ಪ್ಯಾಮ್ ಟಿಕೆಟ್ಗಳು ಎಂದಿಗೂ LLM ಗೆ ತಲುಪುವುದಿಲ್ಲ. ಅನಗತ್ಯ ಕೆಲಸಗಳಿಗಾಗಿ ನೀವು "LLM ಟ್ಯಾಕ್ಸ್" ಪಾವತಿಸುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತೀರಿ.
ನೀವು ನಿಮ್ಮ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಸರಿಯಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಿದರೆ, ಮಾಡೆಲ್ಗಳನ್ನು ಬದಲಾಯಿಸುವ ಮೊದಲೇ ಅತ್ಯಂತ ದುಬಾರಿ ಕರೆಗಳನ್ನು (calls) ನೀವು ತಪ್ಪಿಸಬಹುದು.
ನಿಮ್ಮ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸಿ:
- ನಿಮ್ಮ ವರ್ಕ್ಫ್ಲೋ ಅನ್ನು ಮ್ಯಾಪ್ ಮಾಡಿ. ಯಾವ ಹಂತಗಳಿಗೆ ನಿಜವಾದ ತರ್ಕದ ಅಗತ್ಯವಿದೆ ಮತ್ತು ಯಾವುವು ಕೇವಲ ವರ್ಗೀಕರಣ ಅಥವಾ ಹೊರತೆಗೆಯುವಿಕೆ (extraction) ಎಂದು ಗುರುತಿಸಿ.
- Deterministic ಹಂತಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್ನಿಂದ ಹೊರಗೆ ತನ್ನಿ. ರೌಟಿಂಗ್ ಮತ್ತು ಸ್ಕೋರಿಂಗ್ಗಾಗಿ ವೇಗವಾದ, ಅಗ್ಗದ ವಿಧಾನಗಳನ್ನು ಬಳಸಿ.
- LLM ಗೆ ಗೇಟ್ (Gate) ಇರಿಸಿ. ಅಗತ್ಯವಿಲ್ಲದ ಕೆಲಸಗಳಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸೃಷ್ಟಿಸಬೇಡಿ.
- ಮಾಡೆಲ್ ಗಾತ್ರವನ್ನು ಕೊನೆಯದಾಗಿ ನಿರ್ಣಯಿಸಿ. ನಿಮ್ಮ ಆರ್ಕಿಟೆಕ್ಚರ್ ಚುರುಕಾದ ನಂತರವಷ್ಟೇ ಜನರೇಷನ್ (generation) ಹಂತಕ್ಕಾಗಿ ಸಣ್ಣ ಮಾಡೆಲ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ.
ಯಾವ ಮಾಡೆಲ್ ಪ್ರತಿ ಟೋಕನ್ಗೆ ಅಗ್ಗವಾಗಿದೆ ಎಂಬ ಬಗ್ಗೆ ವಾದ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ದುಬಾರಿ ಇಂಜಿನ್ ಅನ್ನು ಅಗತ್ಯವಿದ್ದಾಗ ಮಾತ್ರ ಬಳಸುವ ಆರ್ಕಿಟೆಕ್ಚರ್ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಿ.
Source: https://dev.to/bakshiyogesh/your-ai-bill-isnt-a-model-problem-its-an-architecture-problem-1ole
Optional learning community: https://t.me/GyaanSetuAi