ಇತ್ತೀಚಿನ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಒಂದರ ಪ್ರಕಾರ, ಎರಡು-ಪದರಗಳ ಮೆಮೊರಿ ವಿನ್ಯಾಸವು—RAM-ಆಧಾರಿತ scratchpad ಮತ್ತು ಸ್ಥಳೀಯ SQLite-vec vault—ಮಧ್ಯಮ ಕ್ವೇರಿ ಸಮಯವನ್ನು 100 ms ಗಿಂತ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಜನಪ್ರಿಯ ಕ್ಲೌಡ್ ವೆಕ್ಟರ್ ಸ್ಟೋರ್‌ಗೆ ಸಂಬಂಧಿಸಿದ ತಿಂಗಳಿಗೆ $135 ವೆಚ್ಚವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ. ಸ್ವಾಯತ್ತ AI ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವ ಡೆವಲಪರ್‌ಗಳು ಸಂಪೂರ್ಣವಾಗಿ ಆನ್-ಪ್ರೆಮೈಸ್ ಸೆಟಪ್ ಅನ್ನು ಬಳಸಬಹುದು, ಇದು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ ವೇಗವಾಗಿದ್ದು, ಯಾವುದೇ ಮಾಸಿಕ ವೆಚ್ಚವನ್ನು ಉಂಟುಮಾಡುವುದಿಲ್ಲ.

ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮೆಮೊರಿ ವಿಧಾನಗಳು ಏಕೆ ಸಾಲುತ್ತಿಲ್ಲ

AI ಏಜೆಂಟ್‌ಗಳು ಹೆಚ್ಚಾಗಿ ಸಾವಿರಾರು ಹಿಂದಿನ ಸಂವಹನಗಳು, ಸತ್ಯಗಳು ಅಥವಾ tool-call ಫಲಿತಾಂಶಗಳನ್ನು ಕಿರಿದಾದ ಪ್ರತಿಕ್ರಿಯೆ ಅವಧಿಯೊಳಗೆ ನೆನಪಿಸಿಕೊಳ್ಳಬೇಕಾಗುತ್ತದೆ. ಹೆಚ್ಚಿನ ತಂಡಗಳು ಪ್ರತಿಯೊಂದು ಎಂಬೆಡ್ಡಿಂಗ್ ಅನ್ನು ಮ್ಯಾನೇಜ್ಡ್ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ಗೆ ತಳ್ಳುತ್ತವೆ ಮತ್ತು ಪ್ರತಿ ಲುಕ್‌ಅಪ್‌ಗಾಗಿ ರಿಮೋಟ್ ವೆಕ್ಟರ್ ಸರ್ಚ್ ಅನ್ನು ಅವಲಂಬಿಸುತ್ತವೆ. ಈ ಮಾದರಿಯು ಸ್ಕೇಲ್ ಆಗುತ್ತದೆ, ಆದರೆ ಇದು ಪ್ರತಿಯೊಂದು ಕ್ವೇರಿಯನ್ನು ನೆಟ್‌ವರ್ಕ್ ಮೂಲಕ ಕಳುಹಿಸಬೇಕಾದ ಅನಿವಾರ್ಯತೆಯನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ, ಇದರಿಂದ ರೌಂಡ್-ಟ್ರಿಪ್ ಸಮಯ ಮತ್ತು ಮಾಸಿಕ ವೆಚ್ಚ ಹೆಚ್ಚಾಗುತ್ತದೆ. ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ, ಕ್ಲೌಡ್ ಸೇವೆಯ ಮಧ್ಯಮ ವಿಳಂಬವು (latency) 127 ms ಇತ್ತು ಮತ್ತು ತಿಂಗಳ ಬಿಲ್ $135 ಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿತ್ತು; ಪರೀಕ್ಷಾ ಅವಧಿಯಲ್ಲಿ ಸೇವೆಯ ಅಡಚಣೆಯೂ (outage) ದಾಖಲಾಗಿತ್ತು.

ಮೆಮೊರಿಯನ್ನು ಎರಡು ಹಂತಗಳಾಗಿ ವಿಭಜಿಸುವುದು

ಈ ದ್ವಿ-ಹಂತದ ಆರ್ಕಿಟೆಕ್ಚರ್ "ವರ್ಕಿಂಗ್ ಮೆಮೊರಿ"ಯನ್ನು "ದೀರ್ಘಕಾಲೀನ ಸಂಗ್ರಹಣೆ"ಯಿಂದ ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ:

L1 Scratchpad (RAM)

  • ಸಂಪೂರ್ಣವಾಗಿ ಪ್ರೊಸೆಸ್ ಮೆಮೊರಿಯಲ್ಲಿ ಇರುತ್ತದೆ.
  • ಪ್ರಸ್ತುತ ಕಾರ್ಯದ ಸಂದರ್ಭ (context) ಮತ್ತು ಇತ್ತೀಚಿನ tool calls ಅನ್ನು ಇರಿಸಿಕೊಳ್ಳುತ್ತದೆ.
  • ರೊ (raw) ಸ್ಟ್ರಿಂಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ; ಯಾವುದೇ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳನ್ನು ರಚಿಸುವುದಿಲ್ಲ.
  • 3 ms ಗಿಂತ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ, ಇದು CPU cache ಗೆ ಸಮಾನವಾಗಿದೆ.

L2 Vault (SQLite-vec)

  • ವೆಕ್ಟರ್ ಸರ್ಚ್ ಸಾಮರ್ಥ್ಯಗಳೊಂದಿಗೆ ವಿಸ್ತರಿಸಲಾದ ಸ್ಥಳೀಯ SQLite ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಉಳಿದ ಎಲ್ಲಾ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.
  • ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ ಬಳಸಲಾದ 14,726 ಮೆಮೊರಿಗಳ ಸಂಪೂರ್ಣ ಸೆಟ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
  • ಸುಮಾರು 94 ms ನಲ್ಲಿ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ, ಇದು ಅನೇಕ ರಿಯಲ್-ಟೈಮ್ ಏಜೆಂಟ್‌ಗಳಿಗಾಗಿ ನಿಗದಿಪಡಿಸಿದ 100 ms ಗುರಿಗಿಂತ ಕಡಿಮೆ ಇದೆ.
  • ಹೋಸ್ಟ್ ಮೆಷಿನ್‌ನ ಸ್ಟೋರೇಜ್ ಹೊರತುಪಡಿಸಿ ಯಾವುದೇ ವೆಚ್ಚವಿಲ್ಲ.

SQLite-vec ಎಂಬುದು ಒಂದು ಓಪನ್-ಸೋರ್ಸ್ ಎಕ್ಸ್‌ಟೆನ್ಶನ್ ಆಗಿದ್ದು, ಇದು ಸ್ಟ್ಯಾಂಡರ್ಡ್ ರಿಲೇಶನಲ್ ಫೈಲ್‌ಗೆ ಅಪ್ರೊಕ್ಸಿಮೇಟ್ ನಿಯರೆಸ್ಟ್-ನೇಬರ್ ಸರ್ಚ್ (approximate nearest-neighbor search) ಅನ್ನು ಸೇರಿಸುತ್ತದೆ. ಡೇಟಾಬೇಸ್ ಏಜೆಂಟ್ ಇರುವ ಅದೇ ಮೆಷಿನ್‌ನಲ್ಲಿ ಇರುವುದರಿಂದ, ಯಾವುದೇ ನೆಟ್‌ವರ್ಕ್ ಹಪ್ ಇರುವುದಿಲ್ಲ ಮತ್ತು ಇಂಜಿನ್ ವೇಗವಾದ ಲುಕ್‌ಅಪ್‌ಗಳಿಗಾಗಿ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ SQLite ಇಂಡೆಕ್ಸಿಂಗ್ ತಂತ್ರಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡುತ್ತದೆ.

ಮುಖ್ಯವಾದ ಅಂಕಿಅಂಶಗಳು

ವ್ಯವಸ್ಥೆ (System) ಮಧ್ಯಮ ವಿಳಂಬ (Median latency) ಮಾಸಿಕ ವೆಚ್ಚ (Monthly cost) ವರದಿಯಾದ ವಿಶ್ವಾಸಾರ್ಹತೆ (Reported reliability)
Cloud vector store (Pinecone) 127 ms ~$135 ಸೇವೆಯ ಅಡಚಣೆಗಳು ಕಂಡುಬಂದವು (Outages observed)
Local SQLite-vec vault 94 ms $0 100 % ಅಪ್‌ಟೈಮ್ (uptime)

ವೆಚ್ಚದ ವ್ಯತ್ಯಾಸವು ತಿಂಗಳಿಗೆ ಸುಮಾರು $135 ಮತ್ತು $0 ಆಗಿದೆ.

ವಾಲ್ಟ್ ಅನ್ನು ಅಚ್ಚುಕಟ್ಟಾಗಿಡುವುದು

ಎಲ್ಲಾ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳ ರೊ ಡಂಪ್ (raw dump) ಮಾಡುವುದರಿಂದ ಪ್ರಸ್ತುತತೆ ಕಡಿಮೆಯಾಗಬಹುದು. ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನ ಲೇಖಕರು ಇತ್ತೀಚಿನ ಬಳಕೆ (recency) ಮತ್ತು ಆವರ್ತನದ (frequency) ಆಧಾರದ ಮೇಲೆ ಮೆಮೊರಿಗಳಿಗೆ ಸ್ಕೋರ್ ನೀಡುವ ಡಿಕೇ ಸಿಸ್ಟಮ್ ಅನ್ನು ಪರಿಚಯಿಸಿದ್ದಾರೆ:

  • ಹೊಸ ಅಥವಾ ಪದೇ ಪದೇ ಬಳಸುವ ಐಟಂಗಳಿಗೆ ಹೆಚ್ಚಿನ ತೂಕ (weight) ನೀಡಲಾಗುತ್ತದೆ.
  • ಸ್ವಲ್ಪ ಸಮಯದಿಂದ ಬಳಸದ ಐಟಂಗಳು ಕ್ರಮೇಣ ತೂಕವನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತವೆ.
  • ಈ ವೇಯ್ಟೆಡ್ ಡಿಕೇ (weighted decay) ವಿಧಾನವು "ರಿಟ್ರಿವಲ್ ನಾಯ್ಸ್" (retrieval noise)—ಅಪ್ರಸ್ತುತ ಫಲಿತಾಂಶಗಳನ್ನು—34 % ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಕಡಿಮೆ ಸ್ಕೋರ್ ಇರುವ ಎಂಟ್ರಿಗಳನ್ನು ತೆಗೆದುಹಾಕುವ ಮೂಲಕ ಅಥವಾ ಇಂಡೆಕ್ಸ್‌ನಲ್ಲಿ ಅವುಗಳ ಸ್ಥಾನವನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ, ಏಜೆಂಟ್ ಹಳೆಯ ಡೇಟಾವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ ಮತ್ತು ಸ್ಥಿರವಾದ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ವಾಲ್ಟ್ ಅನ್ನು ಲೀನ್ (lean) ಆಗಿರಿಸುತ್ತದೆ.

ತೀರ್ಮಾನ

ಕಿರಿದಾದ ಸಮಯದ ಮಿತಿಯೊಳಗೆ ಸಾವಿರಾರು ಮೆಮೊರಿಗಳನ್ನು ನಿರ್ವಹಿಸಬೇಕಾದ AI ಏಜೆಂಟ್‌ಗಳಿಗೆ, RAM-ಮೊದಲ scratchpad ಮತ್ತು ಸ್ಥಳೀಯ SQLite-vec vault ಜೋಡಿಯು ಸಂಪೂರ್ಣ ಕ್ಲೌಡ್-ಆಧಾರಿತ ವೆಕ್ಟರ್ ಸ್ಟೋರ್‌ಗಳಿಗೆ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಪರ್ಯಾಯವಾಗಿದೆ. ಈ ವಿಧಾನವು ಪ್ರತಿಕ್ರಿಯೆಯ ಸಮಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಪುನರಾವರ್ತಿತ ಕ್ಲೌಡ್ ಶುಲ್ಕಗಳನ್ನು ತಪ್ಪಿಸುತ್ತದೆ ಮತ್ತು ಅಡೆತಡೆಯಿಲ್ಲದ ಸೇವೆಯನ್ನು ನೀಡುತ್ತದೆ, ಜೊತೆಗೆ ಅಪ್ರಸ್ತುತ ಡೇಟಾವನ್ನು ತೆಗೆದುಹಾಕುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಆದ್ದರಿಂದ, ಈ ದ್ವಿ-ಹಂತದ ಮಾದರಿಯನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುವುದರಿಂದ ಏಜೆಂಟ್‌ಗಳು ವೇಗವಾಗಿ, ಅಗ್ಗವಾಗಿ ಮತ್ತು ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು.