AWS Bedrock ನ 33 ಪ್ರದೇಶಗಳಲ್ಲಿ ಕೇವಲ ಒಂದು—us-west-2—ನಿಮಗೆ 70-billion-parameter Llama 3.3 ಮಾಡೆಲ್ ಅನ್ನು fine-tune ಮಾಡಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ. ಡೆವಲಪರ್‌ಗಳು ಅಥವಾ તો cross-region ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಜೋಡಿಸಬೇಕಾಗುತ್ತದೆ ಅಥವಾ ಕಷ್ಟಕರವಾದ ಪರ್ಯಾಯ ಮಾರ್ಗಗಳನ್ನು ಅನುಸರಿಸಬೇಕಾಗುತ್ತದೆ.

ಈ ಸಂಶೋಧನೆಯ ಮಹತ್ವವೇನು

AWS ನ ಸಾರ್ವಜನಿಕ ಬೆಲೆ ಪುಟವು (pricing page) ಇನ್ನೂ ಹಳೆಯ Llama 2 ಸರಣಿಯ ತರಬೇತಿ ವೆಚ್ಚಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿದೆ. ಹೊಸ Llama 3.1 ಮತ್ತು 3.3 ಕುಟುಂಬಗಳು ಸಂಪೂರ್ಣವಾಗಿ ಕಾಣೆಯಾಗಿವೆ. ಯಾವ ಪ್ರದೇಶಗಳು way fine-tuning ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ, ಕೆಲಸಗಳು ಕ್ಯೂನಲ್ಲಿ (queues) ಎಷ್ಟು ಸಮಯ ಇರುತ್ತವೆ ಮತ್ತು ನಿಷ್ಕ್ರಿಯ ಸಮಯಕ್ಕೆ (idle time) ಬಿಲ್ ಆಗುತ್ತದೆಯೇ ಎಂಬ ಬಗ್ಗೆ ಇಂಜಿನಿಯರ್‌ಗಳು ಊಹಿಸಬೇಕಾದ ಪರಿಸ್ಥಿತಿ ಇದೆ.

ನಿಖರವಾದ ಅಂಕಿಅಂಶಗಳು

  • us-west-2 – Llama 3.3 70B fine-tuning ಕೆಲಸ ಮಾಡುವ ಏಕೈಕ ಪ್ರದೇಶ.
  • us-east-1 – ಕೇವಲ Amazon-ನಿರ್ಮಿತ ಮಾಡೆಲ್‌ಗಳು; Llama ಅಥವಾ Anthropic fine-tuning ಇಲ್ಲ.
  • eu-west-2 (London) – ಕೇವಲ ಒಂದು, non-Llama ಮಾಡೆಲ್ ಅನ್ನು fine-tune ಮಾಡುತ್ತದೆ.
  • ಉಳಿದ ಎಲ್ಲಾ ಪ್ರದೇಶಗಳು – Llama 3.3 70B ಗಾಗಿ “model not available” ದೋಷಗಳನ್ನು (errors) ನೀಡುತ್ತವೆ.

ನಿಮಗೆ ಕಸ್ಟಮ್-ಟ್ಯೂನ್ ಮಾಡಲಾದ Llama 3.3 70B ಬೇಕಿದ್ದರೆ, us-west-2 ನಲ್ಲಿ ಕೆಲಸವನ್ನು ಚಲಾಯಿಸಿ ಮತ್ತು ಡೇಟಾವನ್ನು ವಿವಿಧ ಪ್ರದೇಶಗಳಿಗೆ ಕಳುಹಿಸಿ, ಅಥವಾ “Custom Model Import” ಮಾರ್ಗವನ್ನು ಪ್ರಯತ್ನಿಸಿ, ಆದರೆ ಲೇಖಕರ ಪ್ರಯತ್ನವು ಸಾಮಾನ್ಯ ಹಾರ್ಡ್‌ವೇರ್ ದೋಷದೊಂದಿಗೆ (generic hardware error) ವಿಫಲವಾಯಿತು.

Custom Model Import: ಒಂದು ಅಪಾಯಕಾರಿ ಪರ್ಯಾಯ

AWS ದಾಖಲೆಗಳ ಪ್ರಕಾರ “Custom Model Import” 200 GB ಗಿಂತ ಕಡಿಮೆ ತೂಕವಿರುವ ಮಾಡೆಲ್‌ಗಳನ್ನು eu-central-1 ಸೇರಿದಂತೆ ಯಾವುದೇ ಪ್ರದೇಶಕ್ಕೆ ತರಬಹುದು. ವಾಸ್ತವದಲ್ಲಿ, Llama 3.3 70B ಅನ್ನು (ಅದು 200 GB ಗಿಂತ ಬಹಳ ದೊಡ್ಡದು) ಇಂಪೋರ್ಟ್ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿದಾಗ ಪದೇ ಪದೇ “hardware error” ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತಿದೆ. ಸದ್ಯಕ್ಕೆ, ನೈಸರ್ಗಿಕವಾದ us-west-2 fine-tuning endpoint ಅತ್ಯಂತ ಸುರಕ್ಷಿತ ಮಾರ್ಗವಾಗಿದೆ.

ಹಣ ಮತ್ತು ನೆಮ್ಮದಿಯನ್ನು ಉಳಿಸುವ ಎರಡು ಉಪಾಯಗಳು

  1. ಮೇಲ್ಮಟ್ಟದ “InProgress” ಫ್ಲಾಗ್ ಅನ್ನು ನಂಬಬೇಡಿ. ಯಾವುದೇ ಕಂಪ್ಯೂಟ್ ಕಾರ್ಯ ನಡೆಯದಿದ್ದರೂ, ಒಂದು ಕೆಲಸವು AWS-ನಿರ್ವಹಣೆಯ ಕ್ಯೂನಲ್ಲಿ ಗಂಟೆಗಟ್ಟಲೆ ಆ ಸ್ಟೇಟಸ್‌ನಲ್ಲಿ ಇರಬಹುದು. trainingDetails ಫೀಲ್ಡ್ “Running” ಎಂದು ಬದಲಾದಾಗ ಮಾತ್ರ ಬಿಲ್ಲಿಂಗ್ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ನಿಷ್ಕ್ರಿಯ ಕ್ಯೂ ಸಮಯಕ್ಕಾಗಿ ಹಣ ಪಾವತಿಸುವುದನ್ನು ತಪ್ಪಿಸಲು ಒಳಗಿನ ಫ್ಲಾಗ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ.
  2. ತಾಳ್ಮೆಯೇ ಲೇಸು. ಒಂದು ಪರೀಕ್ಷಾ ಕೆಲಸವು ತರಬೇತಿ ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲು ಕ್ಯೂನಲ್ಲಿ 23 ಗಂಟೆಗಳ ಕಾಲ ಕಾಯಿತು ಮತ್ತು ಯಾವುದೇ ತೊಂದರೆಯಿಲ್ಲದೆ ಪೂರ್ಣಗೊಂಡಿತು. ಅದನ್ನು ರದ್ದುಗೊಳಿಸಿ ಮತ್ತೆ ಪ್ರಾರಂಭಿಸುವುದು ಅದನ್ನು ಸಾಲಿನಲ್ಲಿ ಹಿಂದಕ್ಕೆ ತಳ್ಳಿತು, ಇದರಿಂದ ಒಟ್ಟು ಕಾಯುವ ಸಮಯ ಹೆಚ್ಚಾಯಿತು. ಕ್ಯೂ ಸಮಯ ಉಚಿತ; GPU ಇನ್‌ಸ್ಟೆನ್ಸ್ಗಳು ಕಾರ್ಯಾರಂಭ ಮಾಡಿದ ನಂತರವೇ ವೆಚ್ಚ ಪ್ರಾರಂಭವಾಗುತ್ತದೆ.

ಇತರ ಪ್ರಾಯೋಗಿಕ ಪಾಠಗಳು

  • ಮಾಡೆಲ್ ಸ್ಕೀಮಾಗಳು (Model schemas) ಭಿನ್ನವಾಗಿವೆ. Llama 3.3 ಮತ್ತು Llama 3.1 ವಿಭಿನ್ನ ಕಾನ್ಫಿಗರೇಶನ್ ಆಬ್ಜೆಕ್ಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಟೋಕನ್ ಉದ್ದದಂತಹ ಮಿತಿಗಳು ಒಂದೇ ಆಗಿದ್ದರೂ, ಒಂದು ವರ್ಷ版本的 JSON ಸ್ಕೀಮಾವನ್ನು ಇನ್ನೊಂದಕ್ಕೆ ಕಾಪಿ-ಪೇಸ್ಟ್ ಮಾಡುವುದು ವ್ಯಾಲಿಡೇಶನ್ ದೋಷಗಳನ್ನು (validation errors) ಉಂಟುಮಾಡುತ್ತದೆ.
  • ಕೋಟಾ ವಿಚಿತ್ರಗಳು (Quota quirks). “Custom models with a creating status” ಮೇಲಿನ ಮಿತಿಯು ಹೆಚ್ಚಾಗಿ ಒಟ್ಟಾರೆ ಕೆಲಸದ ಕೋಟಾಕ್ಕಿಂತ ಬಹಳ ಕಡಿಮೆ ಇರುತ್ತದೆ. ಹಿಂದಿನ ಕೆಲಸವು ಇನ್ನೂ “creating” ಸ್ಥಿತಿಯಲ್ಲಿದ್ದಾಗ ನೀವು “quota exceeded” ದೋಷವನ್ನು ಎದುರಿಸಿದರೆ, ಹೊಸದನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ಹಳೆಯ ಎಂಟ್ರಿಯನ್ನು ಅಳಿಸಿಹಾಕಿ.
  • ಸ್ಟೋರೇಜ್ ವೆಚ್ಚ ಹೆಚ್ಚಾಗುತ್ತದೆ. ಪ್ರತಿಯೊಂದು fine-tuned ಚೆಕ್‌ಪಾಯಿಂಟ್ (checkpoint) ಪ್ರಮಾಣಿತ ದರದಲ್ಲಿ S3 ಸ್ಟೋರೇಜ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಹಳೆಯ ವರ್ಷಗಳನ್ನು ಹಾಗೆಯೇ ಬಿಡುವುದರಿಂದ ಯಾವುದೇ ಪ್ರಯೋಜನವಿಲ್ಲದೆ ನಿಮ್ಮ ಮಾಸಿಕ ಬಿಲ್ ಹೆಚ್ಚಾಗುತ್ತದೆ.

ಅಂತಿಮ ತೀರ್ಮಾನ

ನಿಮ್ಮ ಪ್ರಾಜೆಕ್ಟ್ fine-tuned Llama 3.3 70B ಮಾಡೆಲ್ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದ್ದರೆ, ಆ ಹಂತವನ್ನು us-west-2 ನಲ್ಲಿ ನಡೆಸಲು ಯೋಜಿಸಿ ಅಥವಾ ಕಸ್ಟಮ್ ಇಂಪೋರ್ಟ್‌ಗಳೊಂದಿಗೆ آزمರಿಸಿ ನೋಡಿ. ಕ್ಯೂ ಸ್ಥಿತಿಯನ್ನು ಸೂಕ್ಷ್ಮ ಮಟ್ಟದಲ್ಲಿ ಪರಿಶೀಲಿಸಿ, ದೀರ್ಘಕಾಲ ಕಾಯುತ್ತಿರುವ ಕೆಲಸಗಳನ್ನು ರದ್ದುಗೊಳಿಸಬೇಡಿ ಮತ್ತು ಸ್ಟೋರೇಜ್ ಹಾಗೂ ಕೋಟಾ ಬಳಕೆಯನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಗಮನಿಸಿ.