𝗡𝗩𝗜𝗗𝗜𝗔 𝗖𝗼𝘀𝗺𝗼𝘀 𝟯: 𝗣𝗵𝘆𝘀𝗶𝗰𝗮𝗹 𝗔𝗜 ಗಾಗಿ ಒಂದು ಹೊಸ ವಿಧಾನ

ರೋಬೋಟ್ ತರಬೇತಿ ಕಷ್ಟಕರವಾಗಿರುತ್ತಿತ್ತು. ನೀವು ಅನೇಕ ಪ್ರತ್ಯೇಕ ಮಾದರಿಗಳನ್ನು ಬಳಸಬೇಕಾಗುತ್ತಿತ್ತು. ಒಂದು ದೃಷ್ಟಿಗಾಗಿ (vision). ಒಂದು ಯೋಜನೆಗಾಗಿ (planning). ಒಂದು ಚಲನೆಗಾಗಿ (movement). ಈ ಮಾದರಿಗಳು ಡೇಟಾವನ್ನು ವರ್ಗಾಯಿಸುವಾಗ ತಪ್ಪುಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದವು.

NVIDIA Cosmos 3 ಇದನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ. ಇದು ಎಲ್ಲದಕ್ಕೂ ಒಂದೇ ಮಾದರಿಯಾಗಿದೆ. ಇದು ತರ್ಕ (reasoning) ಮತ್ತು ಕ್ರಿಯೆಗಳನ್ನು (action) ಒಟ್ಟಿಗೆ ನಿರ್ವಹಿಸುತ್ತದೆ.

ಈ ವ್ಯವಸ್ಥೆಯು ಎರಡು ಟವರ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ.

Reasoner ಟವರ್ ದೃಶ್ಯವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತದೆ. ಇದು ಚಿತ್ರಗಳು ಮತ್ತು ವೀಡಿಯೊಗಳನ್ನು ಗಮನಿಸುತ್ತದೆ. ಇದು ವಸ್ತುಗಳ ಸ್ಥಾನ ಮತ್ತು ಚಲನೆಯನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತದೆ.

Generator ಟವರ್ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ. ಇದು ವೀಡಿಯೊ ಅಥವಾ ರೋಬೋಟ್ ಚಲನೆಗಳನ್ನು ಮಾಡುತ್ತದೆ. ಇದು ಕಾರ್ಯನಿರ್ವಹಿಸಲು Reasoner ನ ಸಂದರ್ಭದ (context) ಅಗತ್ಯವಿದೆ.

ಎರಡೂ ಟವರ್‌ಗಳು 3D ಎನ್‌ಕೋಡಿಂಗ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ. ಇದು ಭೌತಶಾಸ್ತ್ರದ ನಿಯಮಗಳನ್ನು ಪಾಲಿಸಲು ಮಾದರಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇದು ತೂಕ ಮತ್ತು ಘರ್ಷಣೆಯ (friction) ಬಗ್ಗೆ ತಿಳಿದಿದೆ.

ಇದರಲ್ಲಿ ಮೂರು ಗಾತ್ರಗಳಿವೆ:

  • Nano: ವರ್ಕ್‌ಸ್ಟೇಷನ್‌ಗಳಿಗಾಗಿ.
  • Super: ಡೇಟಾ ಸೆಂಟರ್‌ಗಳಿಗಾಗಿ.
  • Edge: ಕಾರುಗಳು ಮತ್ತು ಡ್ರೋನ್‌ಗಳಿಗಾಗಿ.

ಬಳಕೆಯ ಸಂದರ್ಭಗಳು:

  • ಬ್ಲಾಕ್‌ಗಳ ಕಂಬವು ಬೀಳುತ್ತದೆಯೇ ಎಂದು ಮುನ್ಸೂಚಿಸುವುದು.
  • ಸಿಂಥೆಟಿಕ್ ತರಬೇತಿ ಡೇಟಾವನ್ನು ರಚಿಸುವುದು.
  • ರೋಬೋಟ್ ಮೋಟಾರ್ ಕಮಾಂಡ್‌ಗಳನ್ನು ಸೃಷ್ಟಿಸುವುದು.

Weights ಮತ್ತು ಕೋಡ್‌ಗಳು GitHub ಮತ್ತು Hugging Face ನಲ್ಲಿ ಲಭ್ಯವಿವೆ.

ಇಲ್ಲಿ ಕೆಲವು ಮಿತಿಗಳಿವೆ. ಇದಕ್ಕೆ ಹೆಚ್ಚಿನ ಶಕ್ತಿಯ ಅಗತ್ಯವಿದೆ. ರಿಯಲ್-ಟೈಮ್ ವೇಗವು ಇನ್ನೂ ಕಷ್ಟಕರವಾಗಿದೆ.

ಇದು ಗೊಂದಲಮಯ ಪೈಪ್‌ಲೈನ್‌ಗಳ ಬದಲಿಗೆ ಒಂದು ಸ್ವಚ್ಛವಾದ ಮೂಲವನ್ನು ನೀಡುತ್ತದೆ.

ಮೂಲ: https://dev.to/prabhakar_chaudhary_7afe4/nvidia-cosmos-3-unifying-physical-ai-reasoning-and-generation-with-two-tower-architecture-2j3f ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi