Claude Code ಅನ್ನು ಈಗ Anthropic ಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಪಾವತಿಸುವ ಬೆಲೆಯ ಒಂದು ಸಣ್ಣ ಭಾಗದಲ್ಲಿ AWS Bedrock ಮೂಲಕ ಚಲಾಯಿಸಬಹುದು. ಒಬ್ಬ ಡೆವಲಪರ್ ಸ್ವಯಂ-ಹೋಸ್ಟ್ ಮಾಡಲಾದ LiteLLM ಪ್ರೊಕ್ಸಿಯನ್ನು ನಿರ್ಮಿಸಿದ್ದಾರೆ, ಇದು Claude Code CLI ತನ್ನೊಂದಿಗೆ ಮಾತನಾಡುತ್ತಿರುವುದು Anthropic ಎಂದು ಭಾವಿಸುವಂತೆ ಮಾಡುತ್ತದೆ, ಆದರೆ ವಾಸ್ತವದಲ್ಲಿ ವಿನಂತಿಗಳು (requests) Bedrock ನಲ್ಲಿರುವ Amazon ನ Nova ಮಾಡೆಲ್‌ಗೆ ಹೋಗುತ್ತವೆ, ಇದರಿಂದ ಕಲಿಕೆಯ ಹಂತದ ವೆಚ್ಚವು 20%–35% ರಷ್ಟು ಕಡಿಮೆಯಾಗುತ್ತದೆ.

ಪ್ರೊಕ್ಸಿ ಏಕೆ ಮುಖ್ಯ

Claude Code ಬಳಸಿ “agentic” ಕೋಡ್ ಬರೆಯುವುದನ್ನು ಕಲಿಯುವುದು Anthropic API ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ವೇಗವಾಗಿ ಖಾಲಿ ಮಾಡುತ್ತದೆ—ಪ್ರತಿ ತಪ್ಪು ಪ್ರಾಂಪ್ಟ್ ಅಥವಾ ದೀರ್ಘವಾದ ಡಿಬಗ್ಗಿಂಗ್ ಸೆಷನ್ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಏಜೆಂಟ್ ಲೂಪ್‌ಗಳು, ಟೂಲ್ ಕಾಲಿಂಗ್ ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್ ಬಗ್ಗೆ ಪ್ರಯೋಗ ಮಾಡುತ್ತಿರುವ ಡೆವಲಪರ್‌ಗಳಿಗೆ, ಆ ವೆಚ್ಚವು ಪ್ರಗತಿಯನ್ನು ಕುಂಠಿತಗೊಳಿಸಬಹುದು. ಪ್ರೊಕ್ಸಿಯು ನೀವು ಅದೇ ವರ್ಕ್‌ಫ್ಲೋ ಅನ್ನು ಮುಂದುವರಿಸಲು ಅನುಮತಿಸುತ್ತದೆ ಆದರೆ ಸಾಮಾನ್ಯವಾಗಿ ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಅಗ್ಗವಾಗಿರುವ AWS ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ಬಳಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಆಯ್ಕೆಗಳ ಸಮಸ್ಯೆಗಳು

  • Local models (e.g., Ollama). ಲ್ಯಾಪ್‌ಟಾಪ್ ಅಥವಾ ವರ್ಕ್‌ಸ್ಟೇಷನ್‌ನಲ್ಲಿ ಸಮಾನವಾದ ಮಾಡೆಲ್ ಅನ್ನು ಚಲಾಯಿಸಲು ಹೆಚ್ಚಿನ RAM ಮತ್ತು GPU ಅಗತ್ಯವಿದೆ, ಇದು ಅನೇಕ ಡೆವಲಪರ್‌ಗಳ ಬಳಿ ಇರುವುದಿಲ್ಲ.
  • Free-tier APIs (e.g., OpenRouter). ಮಲ್ಟಿ-ಸ್ಟೆಪ್ ಏಜೆಂಟ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸುವಾಗ ಟೋಕನ್ ಮಿತಿಗಳು (caps) ಬೇಗನೆ ಮುಗಿದುಹೋಗುತ್ತವೆ, ಇದರಿಂದ ಪಾವತಿಸಿದ ಪ್ಲಾನ್‌ಗಳಿಗೆ ಬದಲಾಯಿಸಬೇಕಾಗುತ್ತದೆ. ಎರಡೂ ವಿಧಾನಗಳು ದುಬಾರಿ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಬಯಸುತ್ತವೆ ಅಥವಾ ಪೂರ್ಣ ಏಜೆಂಟ್ ಸೈಕಲ್ ಪೂರ್ಣಗೊಳ್ಳುವ ಮೊದಲೇ ಕೋಟಾವನ್ನು ಖಾಲಿ ಮಾಡುತ್ತವೆ.

LiteLLM ಪ್ರೊಕ್ಸಿ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ

  1. Dockerised LiteLLM instance ಡೆವಲಪರ್‌ನ ಯಂತ್ರ ಅಥವಾ ಅಗ್ಗದ ಕ್ಲೌಡ್ VM ಮೇಲೆ ಚಲಿಸುತ್ತದೆ.
  2. Claude Code CLI ಪ್ರೊಕ್ಸಿಯ ಲೋಕಲ್ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗೆ ಸೂಚಿಸುತ್ತದೆ, ಅದು Anthropic ಅನ್ನು ಸಂಪರ್ಕಿಸುತ್ತಿದೆ ಎಂದು ನಂಬುತ್ತದೆ.
  3. ಪ್ರೊಕ್ಸಿಯು ವಿನಂತಿಯನ್ನು (request) Amazon Nova ನ API ಫಾರ್ಮ್ಯಾಟ್‌ಗೆ ಹೊಂದಿಕೆಯಾಗುವಂತೆ ಮರುಬರೆಯುತ್ತದೆ ಮತ್ತು ಅದನ್ನು Bedrock ಗೆ ಕಳುಹಿಸುತ್ತದೆ.
  4. Nova ನ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು CLI ನಿರೀಕ್ಷಿಸುವ ರೂಪಕ್ಕೆ ಮರುರೂಪಿಸಲಾಗುತ್ತದೆ. CLI ಗೆ ವ್ಯತ್ಯಾಸ ತಿಳಿಯದ ಕಾರಣ, ಡೆವಲಪರ್ Claude Code ಬೆಂಬಲಿಸುವ ಅದೇ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಟೂಲ್-ಕಾಲಿಂಗ್ ಸಿಂಟ್ಯಾಕ್ಸ್ ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್-ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್ ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಬಳಸಬಹುದು.

ಒಳಗೊಂಡಿರುವ ಸುರಕ್ಷತಾ ಕಾರ್ಯವಿಧಾನಗಳು

  • No artificial session limits. ಪ್ರೊಕ್ಸಿಯು Bedrock ನ ಮಿತಿಗಳ ಹೊರತಾಗಿ ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ಮಿತಿಗಳನ್ನು ಹೇರುವುದಿಲ್ಲ.
  • IAM restrictions. ಅಕ್ಸೆಸ್ ಕೀಗಳು ಒಂದೇ ಮಾಡೆಲ್‌ಗೆ ಸೀಮಿತವಾಗಿರುತ್ತವೆ, ಇದರಿಂದ ಅಕಸ್ಮಾತ್ ಹೆಚ್ಚಿನ ಬೆಲೆಯ ಆಯ್ಕೆಗಳಿಗೆ ಬದಲಾಗುವುದನ್ನು ತಡೆಯಬಹುದು.
  • AWS budget alerts. ಬಜೆಟ್ ನಿಯಮವು ಖಾತೆಯನ್ನು ಗಮನಿಸುತ್ತದೆ ಮತ್ತು ವೆಚ್ಚವು ಅನಿರೀಕ್ಷಿತವಾಗಿ ಹೆಚ್ಚಾದರೆ ಬಳಕೆದಾರರಿಗೆ ತಿಳಿಸುತ್ತದೆ. ಈ ನಿಯಂತ್ರಣಗಳು ಪ್ರಯೋಗವನ್ನು ಕಡಿಮೆ ಅಪಾಯದ ಮತ್ತು ಪಾರದರ್ಶಕವಾಗಿರಿಸುತ್ತವೆ.

ವೆಚ್ಚದ ಹೋಲಿಕೆ

ಸಾರ್ವಜನಿಕವಾಗಿ ಲಿಸ್ಟ್ ಮಾಡಲಾದ Bedrock ಬೆಲೆಗಳ ಆಧಾರದ ಮೇಲೆ, ಈ ಪ್ರೊಕ್ಸಿಯು Anthropic ಮೂಲಕ ನೇರವಾಗಿ Claude Haiku ಬಳಸುವುದಕ್ಕಿಂತ 20%–35% ಕಡಿಮೆ ವೆಚ್ಚವನ್ನು ನೀಡುತ್ತದೆ. ನಿಖರವಾದ ಅಂಕಿಅಂಶವು ಏಜೆಂಟ್‌ನ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಗಳ ಟೋಕನ್ ಮಿಶ್ರಣದ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ, ಆದರೆ ಕಲಿಕೆಯ ಬಜೆಟ್‌ನಲ್ಲಿ ಗಮನಾರ್ಹ ವ್ಯತ್ಯಾಸವನ್ನು ತರಲು ಈ ಕಡಿತವು ಸಾಕು.

Docker ಇಮೇಜ್ ಮತ್ತು ಕಾನ್ಫಿಗರೇಶನ್ ಫೈಲ್‌ಗಳು ರಚನೆಕಾರರಾದ Priyanshu Valiya ಅವರ ಹೆಸರಿನಲ್ಲಿ GitHub ನಲ್ಲಿ ಲಭ್ಯವಿವೆ. ಯಾರೇ ಬೇಕಾದರೂ ಈ ಸೆಟಪ್ ಅನ್ನು ಅನುಕರಿಸಲು (replicate) ಅಗತ್ಯವಿರುವ ಫೈಲ್‌ಗಳನ್ನು ಸುಲಭವಾಗಿ ಹುಡುಕಿ ಡೌನ್‌ಲೋಡ್ ಮಾಡಬಹುದು.

ಪ್ರೊಕ್ಸಿ ಮಾಡದ ಕೆಲಸಗಳು

  • ಇದು Claude ಗಾಗಿ ಉಚಿತ ಚಾಲನೆಯಲ್ಲ. ತೆರೆಯ ಹಿಂದೆ ಇರುವ ಮಾಡೆಲ್ Amazon Nova ಆಗಿದೆಯೇ ಹೊರತು Claude ಅಲ್ಲ. Nova ಸಮಾನವಾದ ರೀಸನಿಂಗ್ ಮತ್ತು ಟೂಲ್-ಕಾಲಿಂಗ್ ಮೂಲಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಆದರೆ ಅದರ ಔಟ್‌ಪುಟ್ ಶೈಲಿ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ ಭಿನ್ನವಾಗಿರುತ್ತದೆ.
  • ಇದು ಪ್ರೊಡಕ್ಷನ್ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅಲ್ಲ. ಲೈವ್ ಸೇವೆಯ ಉದ್ದೇಶಕ್ಕಾಗಿ Claude Code ನ ಸೂಕ್ತತೆಯನ್ನು ನಿರ್ಧರಿಸಲು ಪ್ರೊಕ್ಸಿಯನ್ನು ಬಳಸುವುದು ತಪ್ಪಾದ ನಿರ್ಧಾರವಾಗಬಹುದು, ಏಕೆಂದರೆ ಮೂಲ ಮಾಡೆಲ್ ಮತ್ತು ಬೆಲೆಗಳು ಭಿನ್ನವಾಗಿವೆ.
  • ಪ್ರೊಡಕ್ಷನ್‌ಗೆ ಕೇವಲ ಟೋಕನ್-ಮಾತ್ರದ ವೆಚ್ಚದ ಟ್ರ್ಯಾಕಿಂಗ್ ಸಾಕಾಗುವುದಿಲ್ಲ. AWS ಈಗ “Bedrock Agents Classic” ನಿಂದ “AgentCore” ಗೆ ಬದಲಾಗುತ್ತಿದೆ. ಹೊಸ ಆಫರ್‌ನಲ್ಲಿ, ಚಾರ್ಜ್‌ಗಳು ಕೇವಲ ಟೋಕನ್‌ಗಳಿಗಾಗಿ ಮಾತ್ರವಲ್ಲದೆ ಏಜೆಂಟ್ ಇನ್ವೋಕೇಶನ್ ಮತ್ತು ಗೇಟ್‌ವೇ ವಿನಂತಿಗಳಂತಹ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಸೇವೆಗಳಿಗೂ ಅನ್ವಯಿಸುತ್ತವೆ. ಕಲಿಕೆಯಿಂದ ಪ್ರೊಡಕ್ಷನ್‌ಗೆ ಬದಲಾಗುವ ಡೆವಲಪರ್‌ಗಳು ಈ ಹೆಚ್ಚುವರಿ ವೆಚ್ಚಗಳ ಬಗ್ಗೆ ಗಮನಹರಿಸಬೇಕಾಗುತ್ತದೆ.

ಮುಂದೆ ಗಮನಿಸಬೇಕಾದವುಗಳು

  • AWS AgentCore ಬೆಲೆ ಅಪ್‌ಡೇಟ್‌ಗಳು. ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಬೆಳೆದಂತೆ, ಏಜೆಂಟ್ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಅಥವಾ ರಿಕ್ವೆಸ್ಟ್ ರೂಟಿಂಗ್‌ನಂತಹ ವೈಶಿಷ್ಟ್ಯಗಳಿಗಾಗಿ ಹೊಸ ಶುಲ್ಕಗಳು ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು. AWS ಬೆಲೆ ಪುಟವನ್ನು ಪರಿಶೀಲಿಸುವುದರಿಂದ ಅನಿರೀಕ್ಷಿತ ಬಿಲ್‌ಗಳನ್ನು ತಪ್ಪಿಸಬಹುದು.

ಸಾರಾಂಶ

Claude Code ಮತ್ತು AWS Bedrock ನಡುವೆ LiteLLM ಪ್ರೊಕ್ಸಿಯನ್ನು ಬಳಸುವ ಮೂಲಕ, ಡೆವಲಪರ್‌ಗಳು Anthropic ನ API ಅನ್ನು ನೇರವಾಗಿ ಬಳಸುವುದಕ್ಕಿಂತ 20%–35% ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಏಜೆಂಟಿಕ್ ಕೋಡಿಂಗ್ ಅಭ್ಯಾಸ ಮಾಡಬಹುದು. ಇದರ ಬದಲಾವಣೆಯಾಗಿ (trade-off) ಬೇರೆ ಮೂಲ ಮಾಡೆಲ್ ಮತ್ತು ಎಚ್ಚರಿಕೆಯ ಬಜೆಟ್ ನಿರ್ವಹಣೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ, ಆದರೆ ಮೂಲ ಕಲಿಕೆಯ ಅನುಭವವು ಹಾಗೆಯೇ ಇರುತ್ತದೆ. ಟೂಲ್-ಕಾಲಿಂಗ್ ಏಜೆಂಟ್‌ಗಳನ್ನು ಅನ್ವೇಷಿಸುವಾಗ ಕ್ರೆಡಿಟ್ ಮಿತಿಯಲ್ಲಿ ಸಿಲುಕಿಕೊಂಡಿರುವವರಿಗೆ, ಈ ಪ್ರೊಕ್ಸಿ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಮತ್ತು ಕಡಿಮೆ ಅಪಾಯದ ಮಾರ್ಗವಾಗಿದೆ.