𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵 -> ನನ್ನ AI ಇಂಟಿಗ್ರೇಷನ್ ವೆಚ್ಚ ನನ್ನ ವಿಧಾನವನ್ನು ಬದಲಾಯಿಸುವವರೆಗೆ ತುಂಬಾ ಹೆಚ್ಚಾಗಿತ್ತು

I built a tool to summarize long articles. ನಾನು ಸುದೀರ್ಘ ಲೇಖನಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸಲು ಒಂದು ಸಾಧನವನ್ನು ನಿರ್ಮಿಸಿದೆ.

I used GPT-4 to make it work. ಅದನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು ನಾನು GPT-4 ಅನ್ನು ಬಳಸಿದೆ.

The summaries were great. ಸಾರಾಂಶಗಳು ಅದ್ಭುತವಾಗಿದ್ದವು.

The bill was $1,200 in one month. ಒಂದು ತಿಂಗಳ ಬಿಲ್ $1,200 ಆಗಿತ್ತು.

That cost was too high for my project. ಆ ವೆಚ್ಚವು ನನ್ನ ಪ್ರಾಜೆಕ್ಟ್‌ಗೆ ತುಂಬಾ ಹೆಚ್ಚಾಗಿತ್ತು.

I had three choices. ನನ್ನ ಮುಂದೆ ಮೂರು ಆಯ್ಕೆಗಳಿದ್ದವು.

Fix the cost or stop the feature. ವೆಚ್ಚವನ್ನು ಸರಿಪಡಿಸುವುದು ಅಥವಾ ಫೀಚರ್ ಅನ್ನು ನಿಲ್ಲಿಸುವುದು.

I tried switching to GPT-3.5. ನಾನು GPT-3.5 ಗೆ ಬದಲಾಯಿಸಲು ಪ್ರಯತ್ನಿಸಿದೆ.

The price went down. ಬೆಲೆ ಕಡಿಮೆಯಾಯಿತು.

The quality went down too. ಗುಣಮಟ್ಟವೂ ಕಡಿಮೆಯಾಯಿತು.

The summaries became vague and missed important facts. ಸಾರಾಂಶಗಳು ಅಸ್ಪಷ್ಟವಾದವು ಮತ್ತು ಪ್ರಮುಖ ಅಂಶಗಳನ್ನು ಕಳೆದುಕೊಂಡವು.

I tried reducing the input text size. ನಾನು ಇನ್‌ಪುಟ್ ಪಠ್ಯದ ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿದೆ.

I used local libraries to pick important sentences first. ಪ್ರಮುಖ ವಾಕ್ಯಗಳನ್ನು ಮೊದಲು ಆಯ್ಕೆ ಮಾಡಲು ನಾನು ಲೋಕಲ್ ಲೈಬ್ರರಿಗಳನ್ನು ಬಳಸಿದೆ.

It helped, but the cost stayed high. ಇದು ಸಹಾಯ ಮಾಡಿತು, ಆದರೆ ವೆಚ್ಚವು ಹೆಚ್ಚಾಗಿಯೇ ಇತ್ತು.

Small models still made mistakes on long text. ಸಣ್ಣ ಮಾಡೆಲ್‌ಗಳು ಸುದೀರ್ಘ ಪಠ್ಯದ ಮೇಲೆ ಇನ್ನೂ ತಪ್ಪುಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದವು.

Then I found a better way. ನಂತರ ನನಗೆ ಉತ್ತಮ ಮಾರ್ಗ ಸಿಕ್ಕಿತು.

I stopped using one big model for everything. ಎಲ್ಲದಕ್ಕೂ ಒಂದೇ ದೊಡ್ಡ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುವುದನ್ನು ನಾನು ನಿಲ್ಲಿಸಿದೆ.

I started using a two-step pipeline. ನಾನು ಎರಡು ಹಂತಗಳ ಪೈಪ್‌ಲೈನ್ (pipeline) ಬಳಸಲು ಪ್ರಾರಂಭಿಸಿದೆ.

Step 1: Extractive phase. ಹಂತ 1: ಎಕ್ಸ್‌ಟ್ರಾಕ್ಟಿವ್ ಹಂತ (Extractive phase).

Use a cheap, fast tool to pick the top 5 to 10 sentences from the article. ಲೇಖನದಿಂದ ಮೇಲಿನ 5 ರಿಂದ 10 ವಾಕ್ಯಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಅಗ್ಗದ, ವೇಗದ ಸಾಧನವನ್ನು ಬಳಸಿ.

This removes 90% of the text. ಇದು ಪಠ್ಯದ 90% ಅನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ.

Step 2: Abstractive phase. ಹಂತ 2: ಅಬ್‌ಸ್ಟ್ರಾಕ್ಟಿವ್ ಹಂತ (Abstractive phase).

Send only those few sentences to a small, cheap API. ಆ ಕೆಲವು ವಾಕ್ಯಗಳನ್ನು ಮಾತ್ರ ಸಣ್ಣ, ಅಗ್ಗದ API ಗೆ ಕಳುಹಿಸಿ.

Ask it to combine those sentences into a clean summary. ಆ ವಾಕ್ಯಗಳನ್ನು ಒಂದು ಸ್ಪಷ್ಟ ಸಾರಾಂಶವಾಗಿ ಸಂಯೋಜಿಸಲು ಅದಕ್ಕೆ ತಿಳಿಸಿ.

This change cut my costs by 80%. ಈ ಬದಲಾವಣೆಯು ನನ್ನ ವೆಚ್ಚವನ್ನು 80% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡಿತು.

The quality stayed close to GPT-4. ಗುಣಮಟ್ಟವು GPT-4 ಗೆ ಹತ್ತಿರವಾಗಿಯೇ ಇತ್ತು.

The API calls became much smaller and cheaper. API ಕಾಲ್‌ಗಳು ತುಂಬಾ ಚಿಕ್ಕದಾದವು ಮತ್ತು ಅಗ್ಗವಾದವು.

I also learned two important lessons: ನಾನು ಎರಡು ಪ್ರಮುಖ ಪಾಠಗಳನ್ನು ಕಲಿತೆ:

  • Use caching.
  • ಕ್ಯಾಷಿಂಗ್ (Caching) ಬಳಸಿ.

If many users read the same article, do not run the process twice. Save the result. ಅನೇಕ ಬಳಕೆದಾರರು ಒಂದೇ ಲೇಖನವನ್ನು ಓದಿದರೆ, ಪ್ರಕ್ರಿಯೆಯನ್ನು ಎರಡು ಬಾರಿ ನಡೆಸಬೇಡಿ. ಫಲಿತಾಂಶವನ್ನು ಉಳಿಸಿ.

  • Use layers.
  • ಪದರಗಳನ್ನು (Layers) ಬಳಸಿ.

You do not always need a heavy model. ನಿಮಗೆ ಯಾವಾಗಲೂ ಭಾರೀ ಮಾಡೆಲ್ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ.

Break complex tasks into small, cheap steps. ಸಂಕೀರ್ಣ ಕಾರ್ಯಗಳನ್ನು ಸಣ್ಣ, ಅಗ್ಗದ ಹಂತಗಳಾಗಿ ವಿಂಗಡಿಸಿ.

How do you balance AI quality and cost in your projects? Do you use different models for different steps? ನಿಮ್ಮ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳಲ್ಲಿ AI ಗುಣಮಟ್ಟ ಮತ್ತು ವೆಚ್ಚವನ್ನು ನೀವು ಹೇಗೆ ಸಮತೋಲನಗೊಳಿಸುತ್ತೀರಿ? ನೀವು ವಿವಿಧ ಹಂತಗಳಿಗಾಗಿ ವಿಭಿನ್ನ ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸುತ್ತೀರಾ?

Source: https://dev.to/__c1b9e06dc90a7e0a676b/my-ai-integration-had-terrible-costs-until-i-changed-my-approach-pml

Optional learning community: https://t.me/GyaanSetuAi