𝟳 𝗪𝗮𝘆𝘀 𝘁𝗼 𝗥𝗲𝗱𝘂𝗰𝗲 𝗬𝗼𝘂𝗿 𝗔𝗜 𝗕𝗶𝗹𝗹
ಕಳೆದ ತಿಂಗಳು, ನನ್ನ AI API ಬಿಲ್ 120 USD ನಿಂದ 480 USD ಗೆ ಏರಿತು. ನಾನು ಅವುಗಳನ್ನು ಆಪ್ಟಿಮೈಸ್ (optimize) ಮಾಡದೆ ಹೊಸ ಫೀಚರ್ಗಳನ್ನು ಸೇರಿಸಿದೆ. ಇದನ್ನು ನಾನು 'Tokenpocalypse' ಎಂದು ಕರೆಯುತ್ತೇನೆ. ಪ್ರೊಡಕ್ಷನ್ನಲ್ಲಿ (production), ಟೋಕನ್ ವೆಚ್ಚಗಳನ್ನು ನಿರ್ವಹಿಸುವುದು ಅತ್ಯಗತ್ಯ.
ನಿಮ್ಮ AI ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಇಲ್ಲಿವೆ 7 ಪ್ರಾಯೋಗಿಕ ಮಾರ್ಗಗಳು:
- ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು (prompts) ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ ಪ್ರತಿಯೊಂದು ಅಕ್ಷರಕ್ಕೂ ಹಣ ಖರ್ಚಾಗುತ್ತದೆ. ವಿನಯಪೂರ್ವಕವಾದ ಅನಗತ್ಯ ಪದಗಳು ಅಥವಾ ಉದ್ದವಾದ ಪೀಠಿಕೆಗಳನ್ನು ಬಳಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ.
- ನೇರವಾಗಿ ಮಾತನಾಡಿ.
- JSON ನಂತಹ ರಚನಾತ್ಮಕ ಇನ್ಪುಟ್ಗಳನ್ನು ಬಳಸಿ.
- few-shot learning ಗಾಗಿ ಕನಿಷ್ಠ ಉದಾಹರಣೆಗಳನ್ನು ಬಳಸಿ.
- ನಿಮ್ಮ ನಿಖರವಾದ ಔಟ್ಪುಟ್ ಫಾರ್ಮ್ಯಾಟ್ ಅನ್ನು ತಿಳಿಸಿ. ಕೇವಲ ನನ್ನ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಚಿಕ್ಕದಾಗಿಸುವ ಮೂಲಕ ನಾನು ಟೋಕನ್ಗಳಲ್ಲಿ 30% ಉಳಿತಾಯ ಮಾಡಿದೆ.
ಸರಿಯಾದ ಮಾಡೆಲ್ ಅನ್ನು ಆರಿಸಿ ದಿನಸಿ ಖರೀದಿಸಲು ಫೆರಾರಿ ಬಳಸಬೇಡಿ. ಸಂಕೀರ್ಣ ಕೆಲಸಗಳಿಗಾಗಿ GPT-4 ನಂತಹ ದೊಡ್ಡ ಮಾಡೆಲ್ಗಳನ್ನು ಬಳಸಿ. ಸರಳ ವರ್ಗೀಕರಣ (classification) ಅಥವಾ ಎಕ್ಸ್ಟ್ರಾಕ್ಷನ್ (extraction) ಗಾಗಿ Gemini Flash ಅಥವಾ Llama 3 ನಂತಹ ಸಣ್ಣ ಮಾಡೆಲ್ಗಳನ್ನು ಬಳಸಿ. ಸಣ್ಣ ಮಾಡೆಲ್ಗಳು ಹೆಚ್ಚಾಗಿ 1/10 ನೇ ವೆಚ್ಚದಲ್ಲಿರುತ್ತವೆ ಮತ್ತು ಹೆಚ್ಚು ವೇಗವಾಗಿರುತ್ತವೆ.
ಕ್ಯಾಷಿಂಗ್ (caching) ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಿ ಒಂದೇ ಪ್ರಶ್ನೆಯನ್ನು ಎರಡು ಬಾರಿ ಕೇಳಬೇಡಿ. ನೀವು ಒಂದೇ ರೀತಿಯ ಅಥವಾ ಸಮಾನವಾದ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಸ್ವೀಕರಿಸಿದರೆ, Redis ನಂತಹ ಕ್ಯಾಶ್ನಿಂದ ಉತ್ತರವನ್ನು ನೀಡಿ. ಈ ವಿಧಾನವನ್ನು ಬಳಸುವ ಮೂಲಕ ನಾನು ನನ್ನ ದೈನಂದಿನ AI ಕರೆಗಳನ್ನು 15,000 ರಿಂದ 8,000 ಕ್ಕೆ ಇಳಿಸಿದೆ.
RAG ಆರ್ಕಿಟೆಕ್ಚರ್ ಬಳಸಿ ಇಡೀ ದಾಖಲೆಗಳನ್ನು AI ಗೆ ಕಳುಹಿಸಬೇಡಿ. Retrieval-Augmented Generation (RAG) ಬಳಸಿ. ಈ ವಿಧಾನವು ನಿಮ್ಮ ಡೇಟಾದ ನಿರ್ದಿಷ್ಟ ಮತ್ತು ಸಂಬಂಧಿತ ಭಾಗಗಳನ್ನು ಮಾತ್ರ ಮಾಡೆಲ್ಗೆ ಕಳುಹಿಸುತ್ತದೆ. ನನ್ನ ಡೇಟಾ ಪ್ಲಾಟ್ಫಾರ್ಮ್ನಲ್ಲಿ RAG ಬಳಸುವ ಮೂಲಕ ನಾನು ಟೋಕನ್ ಬಳಕೆಯನ್ನು 60% ಕಡಿಮೆ ಮಾಡಿದೆ.
ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಫ್ಲೋಗಳನ್ನು (multi-agent flows) ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಸಿಸ್ಟಮ್ಗಳಲ್ಲಿ, ಏಜೆಂಟ್ಗಳು ನಿರಂತರವಾಗಿ ಪರಸ್ಪರ ಮಾತನಾಡುತ್ತಿರುತ್ತವೆ. ಇದು ದುಬಾರಿಯಾಗುತ್ತದೆ.
- 'Early exit strategy' ಬಳಸಿ.
- ಒಂದು ಏಜೆಂಟ್ ಸರಳ ತರ್ಕದೊಂದಿಗೆ (logic) ಕೆಲಸವನ್ನು ಪರಿಹರಿಸಬಲ್ಲದಿದ್ದರೆ, LLM ಅನ್ನು ಕರೆಯಬೇಡಿ.
- ಸರಳ ನಿರ್ಧಾರಗಳಿಗಾಗಿ rule-based ಸಿಸ್ಟಮ್ಗಳನ್ನು ಬಳಸಿ. ಸರಳ ಸ್ಟಾಕ್ ಪರಿಶೀಲನೆಗಳಿಗಾಗಿ AI ಬದಲಿಗೆ ನೇರ ಡೇಟಾಬೇಸ್ ಕ್ವೇರಿಗಳನ್ನು (database queries) ಬಳಸುವ ಮೂಲಕ ನಾನು ಕ್ಲೈಂಟ್ ಪ್ರಾಜೆಕ್ಟ್ನಲ್ಲಿ LLM ಕರೆಗಳನ್ನು 70% ಕಡಿಮೆ ಮಾಡಿದೆ.
- ಪರಿಣಾಮಕಾರಿ ಡೇಟಾ ಫಾರ್ಮ್ಯಾಟ್ಗಳನ್ನು ಬಳಸಿ ಫಾರ್ಮ್ಯಾಟ್ ಮುಖ್ಯವಾಗುತ್ತದೆ. JSON ಗಿಂತ XML ಹೆಚ್ಚು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ.
- XML ಗಿಂತ JSON ಗೆ ಆದ್ಯತೆ ನೀಡಿ.
- ಕನಿಷ್ಠ ನೆಸ್ಟಿಂಗ್ (nesting) ಬಳಸಿ.
- ಹೆಚ್ಚುವರಿ ಸ್ಪೇಸ್ಗಳು ಮತ್ತು ಕಾಮೆಂಟ್ಗಳನ್ನು ತೆಗೆದುಹಾಕಿ.
- "product_id" ಬದಲಿಗೆ "id" ನಂತಹ ಚಿಕ್ಕ ಕೀಗಳನ್ನು ಬಳಸಿ. XML ನಿಂದ JSON ಗೆ ಬದಲಾಯಿಸುವುದರಿಂದ ನನ್ನ ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳಲ್ಲಿ 25% ಉಳಿತಾಯವಾಯಿತು.
- ಮಲ್ಟಿ-ಪ್ರೊವೈಡರ್ ಸ್ಟ್ರಾಟಜಿ ಬಳಸಿ ಕೇವಲ ಒಂದು ಪ್ರೊವೈಡರ್ ಮೇಲೆ ಅವಲಂಬಿತರಾಗಬೇಡಿ. ಕೆಲಸಕ್ಕೆ ಸೂಕ್ತವಾದ ಮಾಡೆಲ್ಗೆ ಕಾರ್ಯಗಳನ್ನು ಕಳುಹಿಸಲು ರೂಟರ್ (router) ಬಳಸಿ. ಸರಳ ಕೆಲಸಗಳನ್ನು Groq ಅಥವಾ Cerebras ನಂತಹ ಅಗ್ಗದ ಪ್ರೊವೈಡರ್ಗಳಿಗೆ ಕಳುಹಿಸಿ. ಸಂಕೀರ್ಣ ಕೆಲಸಗಳನ್ನು ಹೈ-ಎಂಡ್ ಮಾಡೆಲ್ಗಳಿಗೆ ಕಳುಹಿಸಿ. ಇದು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸಿಸ್ಟಮ್ಗಳನ್ನು ಸ್ಥಿತಿಸ್ಥಾಪಕವಾಗಿ (resilient) ಇರಿಸುತ್ತದೆ.
Source: https://dev.to/merbayerp/7-ways-to-reduce-your-ai-bill-smart-strategies-21hc
Optional learning community: https://t.me/GyaanSetuAi