𝗦𝗺𝗮𝗹𝗹 𝗟𝗮𝗻𝗴𝘂𝗮𝗴𝗲 𝗠𝗼𝗱𝗲𝗹𝘀 𝗶𝗻 𝟮𝟬𝟮𝟲: 𝗪𝗵𝗲𝗻 𝘁𝗼 𝗗𝗿𝗼𝗽 𝘁𝗵𝗲 𝗕𝗶𝗴 𝗔𝗣𝗜

AI ಉದ್ಯಮವು ವರ್ಷಗಟ್ಟಲೆ ದೊಡ್ಡ ಮಾದರಿಗಳು ಮತ್ತು ದುಬಾರಿ APIಗಳ ಬೆನ್ನತ್ತಿ ಬಂದಿದೆ. 2026ರಲ್ಲಿ, ಈ ಪ್ರವೃತ್ತಿ ಬದಲಾಗಿದೆ. ಪ್ರೊಡಕ್ಷನ್ ಸಿಸ್ಟಮ್‌ಗಳು ಈಗ ಸಣ್ಣ, ವಿಶೇಷ ಮಾದರಿಗಳನ್ನು (specialized models) ಬಳಸುತ್ತಿವೆ. ಈ ಮಾದರಿಗಳು ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಮತ್ತು ವೆಚ್ಚವೂ ಕಡಿಮೆ.

ಎಂಜಿನಿಯರ್‌ಗಳು ಇನ್ನು ಮುಂದೆ ಅತ್ಯಂತ ಶಕ್ತಿಯುತವಾದ ಮಾದರಿಯನ್ನು ಹೇಗೆ ಪಡೆಯುವುದು ಎಂದು ಕೇಳುತ್ತಿಲ್ಲ. ಬದಲಾಗಿ, ಅವರಿಗೆ ಅದರ ನಿಜವಾದ ಅಗತ್ಯವಿದೆಯೇ ಎಂದು ಕೇಳುತ್ತಿದ್ದಾರೆ.

ಹೆಚ್ಚಿನ ಪ್ರೊಡಕ್ಷನ್ ಕೆಲಸಗಳು ಪುನರಾವರ್ತಿತವಾಗಿರುತ್ತವೆ. ಈ ಕೆಳಗಿನವುಗಳಿಗಾಗಿ ನಿಮಗೆ ಅತ್ಯಾಧುನಿಕ ಬುದ್ಧಿವಂತಿಕೆಯ (frontier intelligence) ಅಗತ್ಯವಿಲ್ಲ:

  • ವರ್ಗೀಕರಣ (Classification)
  • ಮಾಹಿತಿ ಹೊರತೆಗೆಯುವಿಕೆ (Information extraction)
  • ಸಾರಾಂಶ ಮಾಡುವುದು (Summarization)
  • ಕಂಟೆಂಟ್ ಮಾಡರೇಶನ್ (Content moderation)
  • ರೂಟಿಂಗ್ ನಿರ್ಧಾರಗಳು (Routing decisions)
  • FAQ ತಯಾರಿಕೆ (FAQ generation)
  • ರಚನಾತ್ಮಕ ಔಟ್‌ಪುಟ್‌ಗಳು (Structured outputs)

ಈ ಕೆಲಸಗಳಿಗೆ ವೇಗ, ಕಡಿಮೆ ವೆಚ್ಚ ಮತ್ತು ಗೌಪ್ಯತೆ (privacy) ಅಗತ್ಯವಿದೆ. ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳು ಇಲ್ಲಿ ಅತ್ಯುತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ಈ ಎರಡು ವಿಧಾನಗಳನ್ನು ಹೋಲಿಸಿ ನೋಡಿ:

ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚ (Inference Cost):

  • ಸಣ್ಣ ಮಾದರಿಗಳು (Small Models): ಅತ್ಯಂತ ಕಡಿಮೆ
  • ದೊಡ್ಡ ಮಾದರಿಗಳು (Large Models): ಹೆಚ್ಚು

ವಿಳಂಬ (Latency):

  • ಸಣ್ಣ ಮಾದರಿಗಳು (Small Models): ಕಡಿಮೆ
  • ದೊಡ್ಡ ಮಾದರಿಗಳು (Large Models): ಮಧ್ಯಮದಿಂದ ಹೆಚ್ಚು

ಹಾರ್ಡ್‌ವೇರ್ (Hardware):

  • ಸಣ್ಣ ಮಾದರಿಗಳು (Small Models): ಕನ್ಸ್ಯೂಮರ್ GPUs ಅಥವಾ ಎಡ್ಜ್ ಸಾಧನಗಳು (edge devices)
  • ದೊಡ್ಡ ಮಾದರಿಗಳು (Large Models): ಹೈ-ಎಂಡ್ ಕ್ಲೌಡ್ ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್

ಗೌಪ್ಯತೆ (Privacy):

  • ಸಣ್ಣ ಮಾದರಿಗಳು (Small Models): ಸುಲಭವಾದ ಸ್ಥಳೀಯ ನಿಯೋಜನೆ (local deployment)
  • ದೊಡ್ಡ ಮಾದರಿಗಳು (Large Models): ಸಾಮಾನ್ಯವಾಗಿ ಕ್ಲೌಡ್ APIಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ

ಹೆಚ್ಚಿನ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಸುಸ್ಥಿರ ವೆಚ್ಚದಲ್ಲಿ ಸಾಕಷ್ಟು ಬುದ್ಧಿವಂತಿಕೆಯ ಅಗತ್ಯವಿದೆ. ಸಣ್ಣ ಮಾದರಿಗಳು ಇವುಗಳಿಗೆ ಅತ್ಯುತ್ತಮವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತವೆ:

  • ಆಂತರಿಕ ಎಂಟರ್‌ಪ್ರೈಸ್ ಅಸಿಸ್ಟೆಂಟ್‌ಗಳು (Internal enterprise assistants)
  • ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರೊಸೆಸಿಂಗ್ ಪೈಪ್‌ಲೈನ್‌ಗಳು (Document processing pipelines)
  • ಮೊಬೈಲ್ ಮತ್ತು ಎಂಬೆಡೆಡ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು (Mobile and embedded applications)

ಸ್ಥಳೀಯವಾಗಿ ಇನ್ಫರೆನ್ಸ್ (inference) ಮಾಡುವುದರಿಂದ ವಿಳಂಬವು (latency) ಬಹುತೇಕ ಶೂನ್ಯವಾಗಿರುತ್ತದೆ ಮತ್ತು ಆಫ್‌ಲೈನ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು. ಇದು ಡೇಟಾವನ್ನು ಗೌಪ್ಯವಾಗಿಯೂ ಇರಿಸುತ್ತದೆ.

ಬುದ್ಧಿವಂತ ತಂಡಗಳು ರೂಟಿಂಗ್ ತಂತ್ರವನ್ನು (routing strategy) ಬಳಸುತ್ತವೆ. ಅವರು ಕಷ್ಟಕರವಾದ ವಿನಂತಿಗಳನ್ನು ದುಬಾರಿ ಮಾದರಿಗಳಿಗೆ ಕಳುಹಿಸುತ್ತಾರೆ. ಸರಳ ಕೆಲಸಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿಯೇ ಇರಿಸಿಕೊಳ್ಳುತ್ತಾರೆ. ಇದು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಡೇಟಾದ ಮೇಲೆ ನಿಮಗೆ ನಿಯಂತ್ರಣವನ್ನು ನೀಡುತ್ತದೆ.

ವಿಶೇಷ ಮಾದರಿಗಳು (Specialized models) ಕೂಡ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಗ್ರಾಹಕ ಬೆಂಬಲ ಅಸಿಸ್ಟೆಂಟ್‌ಗೆ (customer support assistant) ಕ್ವಾಂಟಮ್ ಮೆಕ್ಯಾನಿಕ್ಸ್ ತಿಳಿಯಬೇಕಾಗಿಲ್ಲ. ಅದಕ್ಕೆ ನಿಮ್ಮ ಮರುಪಾವತಿ ನೀತಿಗಳು (refund policies) ಮತ್ತು ಶಿಪ್ಪಿಂಗ್ ಪ್ರಕ್ರಿಯೆಗಳು ತಿಳಿಯಬೇಕಷ್ಟೇ ಸಾಕು. ಇಂತಹ ನಿರ್ದಿಷ್ಟ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ, ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾದ ಸಣ್ಣ ಮಾದರಿಯು ಸಾಮಾನ್ಯ ದೊಡ್ಡ ಮಾದರಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.

ನೀವು ಯಾವಾಗ ದೊಡ್ಡ APIಗಳನ್ನು ಬಳಸಬೇಕು?

  • ಸುಧಾರಿತ ಬಹು-ಹಂತದ ತರ್ಕ (Advanced multi-step reasoning)
  • ಹೆಚ್ಚು ಅಸ್ಪಷ್ಟವಾದ ಕೆಲಸಗಳು (Highly ambiguous tasks)
  • ವಿಶಾಲವಾದ ಜಗತ್ತಿನ ಜ್ಞಾನ (Broad world knowledge)
  • ವೇಗದ ಪ್ರಯೋಗಗಳು (Rapid experimentation)

ಗುರಿ ಎಲ್ಲಾ LLMಗಳನ್ನು ಬದಲಾಯಿಸುವುದಲ್ಲ. ವೆಚ್ಚವನ್ನು ಸಮರ್ಥಿಸಿಕೊಳ್ಳದ ಕೆಲಸಗಳಿಗಾಗಿ ಫ್ರಾಂಟಿಯರ್ ಮಾದರಿಯನ್ನು (frontier model) ಬಳಸುವುದನ್ನು ತಪ್ಪಿಸುವುದು ಇದರ ಗುರಿಯಾಗಿದೆ.

ನೀವು ಬಳಸದ ಬುದ್ಧಿವಂತಿಕೆಗಾಗಿ ಹಣ ಪಾವತಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಸಣ್ಣ ಮಾದರಿಗಳಿಗೆ ಬದಲಾಗುವುದು ರಾಜಿ ಮಾಡಿಕೊಳ್ಳುವುದಲ್ಲ. ಅದು ಉತ್ತಮ ಇಂಜಿನಿಯರಿಂಗ್.

Source: https://dev.to/tobyskt2/small-language-models-in-2026-when-to-drop-the-big-api-and-build-lean-597a

Optional learning community: https://t.me/GyaanSetuAi