ಪ್ರಾದೇಶಿಕ ಇನ್ಫರೆನ್ಸ್: ಕಂಪ್ಯೂಟಿಂಗ್ ಪ್ರಕ್ರಿಯೆಯನ್ನು EU ಒಳಗೆ ಇರಿಸಿಕೊಳ್ಳುವುದು

ವೈಯಕ್ತಿಕ ಅಥವಾ ಹಣಕಾಸಿನ ಡೇಟಾವನ್ನು ಯುರೋಪಿಯನ್ ಗಡಿಗಳ ಒಳಗೆ ಇರಿಸಿಕೊಳ್ಳಲೇಬೇಕಾದ ಉದ್ಯಮಗಳು ಈಗ API ಕರೆಗಳನ್ನು api.eu.mistral.ai ಗೆ ಕಳುಹಿಸಬಹುದು. ಮಾಡೆಲ್‌ನ ಪ್ರೊಸೆಸಿಂಗ್ – ಅಂದರೆ ವಿನಂತಿಯು ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಚಲಿಸುವ ಕ್ಷಣ – EU ನಲ್ಲೇ ಇರುತ್ತದೆ, ಇದು ಅನೇಕ ಡೇಟಾ-ರೆಸಿಡೆನ್ಸಿ (data-residency) ನಿಯಮಗಳನ್ನು ಪೂರೈಸುತ್ತದೆ. ಅಮೇರಿಕಾದ ಗ್ರಾಹಕರಿಗಾಗಿ ಅಮೇರಿಕಾದ ಪ್ರತ್ಯೇಕ ಎಂಡ್‌ಪಾಯಿಂಟ್ (api.us.mistral.ai) ಅಧಿಸಂಗತ ಭೌಗೋಳಿಕ ಭರವಸೆಯನ್ನು ನೀಡುತ್ತದೆ.

ಇದರ ಪ್ರಯೋಜನವು ಸಂಪೂರ್ಣ ಪ್ರತ್ಯೇಕತೆಯಲ್ಲಲ್ಲ. Mistral ನ ದಾಖಲೆಗಳ ಪ್ರಕಾರ, ಅಕೌಂಟ್ ಮೆಟಾಡೇಟಾ, API ಕೀಗಳು, ಬಿಲ್ಲಿಂಗ್ ದಾಖಲೆಗಳು ಮತ್ತು ಬಳಕೆಯ ಅಂಕಿಅಂಶಗಳನ್ನು ಇನ್ನೂ ಆಯ್ಕೆ ಮಾಡಿದ ಪ್ರದೇಶದ ಹೊರಗೆ ನಿರ್ವಹಿಸಬಹುದು. ವಿನಂತಿ ಲಾಗ್‌ಗಳನ್ನು (request logs) ಸಂಗ್ರಹಿಸುವುದನ್ನು ತಡೆಯಲು, ಬಳಕೆದಾರರು "Zero Data Retention" ಫ್ಲಾಗ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಬೇಕು; ಇಲ್ಲದಿದ್ದರೆ, ವಿನಂತಿ ಮೆಟಾಡೇಟಾವನ್ನು ಬೇರೆಡೆ ಇರಿಸಿಕೊಳ್ಳಬಹುದು. ಪ್ರಾದೇಶಿಕ ಆಯ್ಕೆಯು ಪ್ರಮಾಣಿತ ಪ್ರತಿ-ಟೋಕನ್ ಬೆಲೆಗೆ ಹೆಚ್ಚುವರಿ 10% ಸರ್ಚಾರ್ಜ್ ಅನ್ನು ಸೇರಿಸುತ್ತದೆ.

ಪ್ರಾದೇಶಿಕ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳು ಇನ್ನೂ ಏನು ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ

ಇಂದು EU ಎಂಡ್‌ಪಾಯಿಂಟ್ ಕೇವಲ 'ಸ್ಟೇಟ್‌ಲೆಸ್' (stateless) ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಮಾತ್ರ ಬೆಂಬಲಿಸುತ್ತದೆ. "ಸ್ಟೇಟ್‌ಲೆಸ್" ಎಂದರೆ ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಪ್ರೊಸೆಸ್ ಮಾಡಲಾಗುತ್ತದೆ, ಅಂದರೆ ಸೇವೆವು ಕರೆಗಳ ನಡುವೆ ಯಾವುದೇ ಮಧ್ಯಂತರ ಡೇಟಾವನ್ನು ಇರಿಸಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಈ ನಿರ್ಬಂಧವು ಹಲವಾರು ಉನ್ನತ ಮಟ್ಟದ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ತಡೆಯುತ್ತದೆ:

  • ಬಹು-ಹಂತದ ತಾರ್ಕಿಕ ಕಾರ್ಯವಿಧಾನಕ್ಕಾಗಿ (multi-step reasoning workflow) ಹಲವಾರು ಕರೆಗಳನ್ನು ಸರಪಳಿಯಂತೆ ಜೋಡಿಸುವ AI ಏಜೆಂಟ್‌ಗಳು.
  • ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳ ಮೇಲೆ ಅಸಿಂಕ್ರೋನಸ್ ಆಗಿ (asynchronously) ಚಲಿಸುವ ಬ್ಯಾಚ್ ಪ್ರೊಸೆಸಿಂಗ್ ಕೆಲಸಗಳು.
  • ದಾಖಲೆಗಳು ಅಥವಾ ಇತರ ಆಸ್ತಿಗಳನ್ನು ಅಪ್‌ಲೋಡ್ ಮಾಡಲು ಬಳಸುವ Files API.

ಇಲ್ಲದಿರುವ ಪರ್ಸಿಸ್ಟೆಂಟ್ ಸ್ಟೋರೇಜ್ (persistent storage) ತಾಂತ್ರಿಕ ಅಡಚಣೆಯಾಗಿ ಕಂಡುಬರುತ್ತಿದೆ. ಇದರ ಜೊತೆಗೆ, EU ಎಂಡ್‌ಪಾಯಿಂಟ್‌ನಲ್ಲಿ ಲಭ್ಯವಿರುವ ಮಾಡೆಲ್‌ಗಳ ಕ್ಯಾಟಲಾಗ್ ಜಾಗತಿಕ ಸೆಟ್‌ಗಿಂತ ಭಿನ್ನವಾಗಿರಬಹುದು; ಯಾವ ಮಾಡೆಲ್‌ಗಳು ಅಲ್ಲಿ ವಾಸ್ತವವಾಗಿ ನಿಯೋಜಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ನೋಡಲು ಗ್ರಾಹಕರು ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗೆ ವಿಚಾರಿಸಬೇಕಾಗುತ್ತದೆ.

ಪ್ರಿಯಾರಿಟಿ ಟಿಯರ್ (Priority tier): ವಿಳಂಬ-ಸೂಕ್ಷ್ಮ (latency-critical) ಕೆಲಸಗಳಿಗೆ ವೇಗದ ಮಾರ್ಗ

ಪ್ರಸ್ತುತ ಓಪನ್ ಬೀಟಾದಲ್ಲಿರುವ Mistral ನ ಪ್ರಿಯಾರಿಟಿ ಟಿಯರ್, ಸಿಸ್ಟಮ್ ಕಾರ್ಯನಿರತವಾಗಿದ್ದಾಗ ಪಾವತಿಸುವ ಗ್ರಾಹಕರ ವಿನಂತಿಗಳು ಸಾಮಾನ್ಯ ಟ್ರಾಫಿಕ್‌ಗಿಂತ ಮುಂದೆ ಹೋಗುತ್ತವೆ ಎಂದು ಭರವಸೆ ನೀಡುತ್ತದೆ. ಈ ಟಿಯರ್ ಮೂರು ಎಂಟರ್‌ಪ್ರೈಸ್-ಗ್ರೇಡ್ ಗ್ಯಾರಂಟಿಗಳನ್ನು ಒಳಗೊಂಡಿದೆ:

  • Uptime SLA – ಒಪ್ಪಂದಬದ್ಧವಾಗಿ 99.5% ಲಭ್ಯತೆ, ಅಂದರೆ ತಿಂಗಳಿಗೆ ಸರಿಸುಮಾರು 3.5 ಗಂಟೆಗಳ ಡೌನ್‌ಟೈಮ್ ಅನುಮತಿಸಲಾಗಿದೆ. ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಟಿಯರ್ ಯಾವುದೇ ಔಪಚಾರಿಕ ಅಪ್‌ಟೈಮ್ ಭರವಸೆಯನ್ನು ನೀಡುವುದಿಲ್ಲ.
  • Predictable latency – ಕರೆ ಮಾಡುವವರು service_tier ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಹೊಂದಿಸಬಹುದು, ಇದು ವಿನತಿಗೆ ಆದ್ಯತೆ ನೀಡಲು ಸಿಸ್ಟಮ್‌ಗೆ ಸೂಚಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಯ ಸಮಯದಲ್ಲಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
  • Premium pricing – ಪ್ರಾಂಪ್ಟ್-ಕ್ಯಾಶಿಂಗ್ (prompt-caching) ರಿಯಾಯಿತಿಗಳನ್ನು ಅನ್ವಯಿಸಿದ ನಂತರ, ಈ ಟಿಯರ್ 75% ಹೆಚ್ಚುವರಿ ಶುಲ್ಕವನ್ನು (ಮೂಲ ಬೆಲೆಯ 1.75 ×) ಸೇರಿಸುತ್ತದೆ.

ಪ್ರಿಯಾರಿಟಿ ಟಿಯರ್‌ಗೆ ಪ್ರವೇಶವು ಸ್ವಯಂ-ಸೇವೆಯಲ್ಲ; ವ್ಯವಹಾರಗಳು Mistral ನ ಮಾರಾಟ ತಂಡದೊಂದಿಗೆ ಒಪ್ಪಂದವನ್ನು ಚರ್ಚಿಸಬೇಕು ಮತ್ತು ಕಸ್ಟಮ್ ರೇಟ್ ಲಿಮಿಟ್‌ಗಳ ಬಗ್ಗೆ ಒಪ್ಪಿಕೊಳ್ಳಬೇಕು. ಈ ಸೇವೆ ಲೈವ್ ಚಾಟ್‌ಬಾಟ್‌ಗಳಂತಹ ರಿಯಲ್-ಟೈಮ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡಿದೆ, ಅಲ್ಲಿ ಕೆಲವು ಹೆಚ್ಚುವರಿ ಮಿಲಿಸೆಕೆಂಡುಗಳು ಆದಾಯದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು.

ಮೂರನೇ ಪಾರ್ಟಿ ಮಾಡೆಲ್‌ಗಳೊಂದಿಗೆ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ವಿಸ್ತರಣೆ

Mistral ತನ್ನನ್ನು ಕೇವಲ ಏಕ-ಮಾಡಲ್ ಪೂರೈಕೆದಾರರಾಗಿ ಮಾತ್ರವಲ್ಲದೆ ಹೆಚ್ಚಿನದಾಗಿ ಗುರುತಿಸಿಕೊಳ್ಳುತ್ತಿದೆ. ಮೂಲಸೌಕರ್ಯವು ಈಗ ಬಾಹ್ಯ ಡೆವಲಪರ್‌ಗಳಿಂದ ಮಾಡೆಲ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ, ಚೀನಾ ಕಂಪನಿ Z.ai ನ GLM-5.2 ಮೊದಲನೆಯದು. ಹೆಚ್ಚುವರಿ ಕಂಪ್ಯೂಟ್ ಬೇಡಿಕೆ ಮತ್ತು ಹೊಸ ಯುರೋಪಿಯನ್ ಡೇಟಾ ಸೆಂಟರ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸಲು, Mistral "European Compute Units" ಅನ್ನು ಮಾರಾಟ ಮಾಡುತ್ತಿದೆ – ಇವು ದೊಡ್ಡ ಉದ್ಯಮಗಳಿಂದ ಬರುವ ಬಹು-ವರ್ಷದ ಖರೀದಿ ಬದ್ಧತೆಗಳಾಗಿದ್ದು, ಇವು ಪ್ರಾದೇಶಿಕ ಹಾರ್ಡ್‌ವೇರ್ ನಿರ್ಮಾಣಕ್ಕೆ ಹಣಕಾಸು ಒದಗಿಸುತ್ತವೆ.

ಪಣಗಳು ಮತ್ತು ಸಂಭಾವ್ಯ ವಿರೋಧಗಳು

ಕಂಪ್ಯೂಟಿಂಗ್ ಅನ್ನು EU ಒಳಗೆ ಇರಿಸಿಕೊಳ್ಳುವ ಮೂಲಕ ನಿಯಮಿತ ಸಂಸ್ಥೆಗಳು ಅನುಸರಣೆಗೆ (compliance) ಸ್ಪಷ್ಟವಾದ ಮಾರ್ಗವನ್ನು ಪಡೆಯುತ್ತವೆ ಮತ್ತು ವಿಳಂಬ-ಸೂಕ್ಷ್ಮ ಸೇವೆಗಳು ಪ್ರಿಯಾರಿಟಿ ಟಿಯರ್ ಮೂಲಕ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಬಹುದು. ಆದಾಗ್ಯೂ, 10% ಅಥವಾ 75% ಹೆಚ್ಚುವರಿ ವೆಚ್ಚವನ್ನು ಭರಿಸಲಾಗದ ಸಣ್ಣ ಕಂಪನಿಗಳಿಗೆ ಈ ಹೆಚ್ಚಿನ ವೆಚ್ಚವು ಅಡ್ಡಿಯಾಗಬಹುದು. ಸ್ಟೇಟ್‌ಲೆಸ್ ನಿರ್ಬಂಧವು ಏಜೆಂಟ್‌ಗಳು ಅಥವಾ ಬ್ಯಾಚ್ ಕೆಲಸಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವ ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ಮರು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಡೆವಲಪರ್‌ಗಳನ್ನು ಒತ್ತಾಯಿಸುತ್ತದೆ, ಇದು ಇಂಜಿನಿಯರಿಂಗ್ ಕೆಲಸದ ಹೊರೆಯನ್ನು ಹೆಚ್ಚಿಸಬಹುದು.

ಈಗಾಗಲೇ ಸಂಪೂರ್ಣ ಸಾರ್ವಭೌಮ ಸ್ಟ್ಯಾಕ್‌ಗಳನ್ನು (sovereign stacks) ಅಥವಾ ಕಡಿಮೆ ವೆಚ್ಚದ ವಿಳಂಬ ಭರವಸೆಗಳನ್ನು ನೀಡುವ ಸ್ಪರ್ಧಿಗಳು ಬೆಲೆ-ಸೂಕ್ಷ್ಮ ಗ್ರಾಹಕರನ್ನು ಆಕರ್ಷಿಸಬಹುದು. ಒಂದು ವೇಳೆ ಪ್ರಾದೇಶಿಕ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳು ಮಾಡೆಲ್ ವೈವಿಧ್ಯತೆಯಲ್ಲಿ ಸೀಮಿತವಾಗಿದ್ದರೆ, ಉದ್ಯಮಗಳು ಕೆಲವು ಸಾಮರ್ಥ್ಯಗಳಿಗಾಗಿ ಜಾಗತಿಕ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನೇ ಅವಲಂಬಿಸಬೇಕಾಗಬಹುದು, ಇದು ಸಾರ್ವಭೌಮತೆಯ ವಾದವನ್ನು ದುರ್ಬಲಗೊಳಿಸುತ್ತದೆ.

ಮುಂದೆ ಗಮನಿಸಬೇಕಾದವುಗಳು

  • ಮಾಡೆಲ್ ಲಭ್ಯತೆ – EU ಎಂಡ್‌ಪಾಯಿಂಟ್‌ನಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡಲಾದ ಮಾಡೆಲ್‌ಗಳ ಗುಂಪನ್ನು Mistral ವಿಸ್ತರಿಸುತ್ತದೆಯೇ ಎಂಬುದು ಅದರ ಬಳಕೆಯನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.
  • ಬೆಲೆ ಹೊಂದಾಣಿಕೆಗಳು – ಸರ್ಚಾರ್ಜ್ ದರಗಳಲ್ಲಿನ ಯಾವುದೇ ಬದಲಾವಣೆಯು ಉದ್ಯಮಗಳಿಗೆ ವೆಚ್ಚ-ಪ್ರಯೋಜನದ ಸಮತೋಲನವನ್ನು ಬದಲಿಸಬಹುದು.
  • ವೈಶಿಷ್ಟ್ಯಗಳ ಬಿಡುಗಡೆ – ಪ್ರಾದೇಶಿಕ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳಲ್ಲಿ ಸ್ಟೇಟ್‌ಫುಲ್ ಸಾಮರ್ಥ್ಯಗಳ (agents, batch jobs, file handling) ಪರಿಚಯವು ಪ್ರಮುಖ ಕೊರತೆಯನ್ನು ನೀಗಿಸುತ್ತದೆ.
  • European Compute Units ಅಳವಡಿಕೆ – ದೊಡ್ಡ ಗ್ರಾಹಕರು ಈ ದೀರ್ಘಕಾಲದ ಒಪ್ಪಂದಗಳಿಗೆ ಎಷ್ಟು ವೇಗವಾಗಿ ಬದ್ಧರಾಗುತ್ತಾರೆ ಎಂಬುದು Mistral ತನ್ನ EU ಮೂಲಸೌಕರ್ಯವನ್ನು ಎಷ್ಟು ವೇಗವಾಗಿ ವಿಸ್ತರಿಸಬಲ್ಲದು ಎಂಬುದನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ಈ ಬಿಡುಗಡೆಯು, ಡೇಟಾ-ರೆಸಿಡೆನ್ಸಿ ಮತ್ತು ಅತ್ಯಂತ ಕಡಿಮೆ ವಿಳಂಬವನ್ನು (ultra-low latency) ಮೌಲ್ಯೀಕರಿಸುವ ಹಾಗೂ ಅದಕ್ಕಾಗಿ ಹೆಚ್ಚಿನ ಬೆಲೆ ಪಾವತಿಸಲು ಸಿದ್ಧವಿರುವ ಮಾರುಕಟ್ಟೆಯ ಮೇಲೆ Mistral ಪಣ ತೊಡುತ್ತಿರುವುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಬೆಲೆ ಮತ್ತು ಕಾರ್ಯಚಟುವಟಿಕೆಯ ಮಿತಿಗಳು ಸ್ವೀಕಾರಾರ್ಹವಾಗುತ್ತವೆಯೇ ಎಂಬುದು, ಈ ಹೊಸ ಹಂತಗಳು ಒಂದು ಸ್ಪರ್ಧಾತ್ಮಕ ಅನುಕೂಲವಾಗುತ್ತವೆಯೇ ಅಥವಾ ಕೇವಲ ಒಂದು ನಿರ್ದಿಷ್ಟ ಮಾರುಕಟ್ಟೆಯ ಉತ್ಪನ್ನವಾಗುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.