ವಿಡಿಯೋ ಅಂಡರ್ಸ್ಟ್ಯಾಂಡಿಂಗ್ ಏಕಕಾಲದಲ್ಲಿ ಎರಡು ಕಠಿಣ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳುತ್ತದೆ. ಫ್ರೇಮ್ನಲ್ಲಿ ಏನಿದೆ ಮತ್ತು ಅದು ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ? ಕಂಪ್ಯೂಟರ್ ವಿಷನ್ ಸಿಸ್ಟಮ್ಗಳು ಸಾಂಪ್ರದಾಯಿಕವಾಗಿ ಇವುಗಳಿಗೆ ಒಂದೊಂದಾಗಿ ಉತ್ತರಿಸುತ್ತವೆ. ಮೊದಲು ಅವು ಸೆಗ್ಮೆಂಟ್ ಮಾಡುತ್ತವೆ, ಅಂದರೆ ಪಿಕ್ಸೆಲ್ಗಳಿಂದ ವಸ್ತುಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತವೆ. ನಂತರ ಅವು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತವೆ, ಅಂದರೆ ಆ ವಸ್ತುಗಳನ್ನು ಕಾಲಾನಂತರದಲ್ಲಿ ಸಂಪರ್ಕಿಸುತ್ತವೆ. ಈ ವಿಭಜನೆಯು ಘರ್ಷಣೆಯನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ಮೊದಲ ಹಂತದ ತಪ್ಪುಗಳು ಎರಡನೇ ಹಂತದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ. ಗಡಿಗಳು ಬದಲಾಗುತ್ತವೆ. ಗುರುತುಗಳು (identities) ಬದಲಾಗುತ್ತವೆ. ಜನರು ಅಥವಾ ವಾಹನಗಳು ಒಂದರ ಮೇಲೊಂದು ಬಂದಾಗ (overlap), ಇಡೀ ಪೈಪ್ಲೈನ್ ಸ್ಥಗಿತಗೊಳ್ಳುತ್ತದೆ.
ಮಲ್ಟಿ-ಕಟ್ ಫಾರ್ಮುಲೇಶನ್ಗಳ (multi-cut formulations) ಮೇಲಿನ ಇತ್ತೀಚಿನ ಕೆಲಸವು ವಿಭಿನ್ನ ಹಾದಿಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಎರಡು ಮಾಡೆಲ್ಗಳನ್ನು ಸರಪಳಿಯಂತೆ ಜೋಡಿಸುವ ಬದಲು, ಇದು ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಮತ್ತು ಟ್ರ್ಯಾಕಿಂಗ್ ಅನ್ನು ಏಕೈಕ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಮಸ್ಯೆಯಾಗಿ ರೂಪಿಸುತ್ತದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ ಹೆಚ್ಚು ನಿಖರವಾದ ಗಡಿಗಳು, ಕಡಿಮೆ ಗುರುತು ಬದಲಾವಣೆಗಳು ಮತ್ತು ದೃಶ್ಯಗಳು ಗಿಜಿಗುಡುತ್ತಿರುವಾಗಲೂ ಒಟ್ಟಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಪೈಪ್ಲೈನ್ ಲಭ್ಯವಾಗುತ್ತದೆ.
ಪೈಪ್ಲೈನ್ಗಳೊಂದಿಗೆ ಇರುವ ಸಮಸ್ಯೆ
ಹೆಚ್ಚಿನ ಪ್ರೊಡಕ್ಷನ್ ಸಿಸ್ಟಮ್ಗಳು ಮೊದಲು ಡಿಟೆಕ್ಷನ್ ಅಥವಾ ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತವೆ, ನಂತರ ಅದರ ಔಟ್ಪುಟ್ ಅನ್ನು ಟ್ರ್ಯಾಕಿಂಗ್ ಮಾಡ್ಯೂಲ್ಗೆ ನೀಡುತ್ತವೆ. ಈ ಹಸ್ತಾಂತರದ ಹಂತದಲ್ಲೇ ಎಲ್ಲವೂ ತಪ್ಪಾಗುತ್ತವೆ. ಸ್ಥಿರ ಚಿತ್ರಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಮಾಡೆಲ್, ಹತ್ತನೇ ಫ್ರೇಮ್ನಲ್ಲಿ ಸ್ವಲ್ಪ ದೊಡ್ಡದಾದ ಅಥವಾ ಹನ್ನೊಂದನೇ ಫ್ರೇಮ್ನಲ್ಲಿ ಸ್ವಲ್ಪ ಚಿಕ್ಕದಾದ ಮಾಸ್ಕ್ ಅನ್ನು ನೀಡಬಹುದು. ಕೇವಲ ಬಾಕ್ಸ್ ಕೇಂದ್ರಗಳು ಅಥವಾ ಎಂಬೆಡ್ಡಿಂಗ್ ದೂರಗಳನ್ನು ಗಮನಿಸುವ ಟ್ರ್ಯಾಕರ್, ಆ ಎರಡು ಮಾಸ್ಕ್ಗಳು ಒಂದೇ ವಸ್ತುವಿಗೆ ಸೇರಿವೆಯೇ ಎಂದು ನಿರ್ಧರಿಸಬೇಕಾಗುತ್ತದೆ. ಗಡಿ ತಪ್ಪಾಗಿದೆ ಎಂದು ಸೆಗ್ಮೆಂಟರ್ಗೆ ತಿಳಿಸಲು ಅಥವಾ ಅದನ್ನು ಸರಿಪಡಿಸಲು ಟ್ರ್ಯಾಕರ್ಗೆ ಸಾಧ್ಯವಿಲ್ಲ. ಈ ಎರಡು ಸಿಸ್ಟಮ್ಗಳು ಪರಸ್ಪರ ಸಂವಹನ ನಡೆಸುವುದಿಲ್ಲ.
ವಸ್ತುಗಳು ಒಂದಕ್ಕೊಂದು ಸಂವಹನ ನಡೆಸುವಾಗ ಈ ಪ್ರತ್ಯೇಕತೆಯು ದೊಡ್ಡ ಸಮಸ್ಯೆಯಾಗುತ್ತದೆ. ಪಾದಚಾರಿಗಳು ಒಬ್ಬರನ್ನೊಬ್ಬರು ದಾಟುತ್ತಾ ಹೋಗುವ ರಸ್ತೆ ದಾಟುವ ಸ್ಥಳ ಅಥವಾ ನಿರ್ದಿಷ್ಟ ಭಾಗವನ್ನು ಹಿಡಿಯಲು ಬಾಕ್ಸ್ಗಳ ರಾಶಿಯ ನಡುವೆ ಚಾಚುವ ರೋಬೋಟ್ ಆರ್ಮ್ ಅನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳಿ. ಇಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ, ಸಾಂಪ್ರದಾಯಿಕ ಟ್ರ್ಯಾಕರ್ಗಳು ಗುರುತನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಲು ಮೋಷನ್ ಮಾಡೆಲ್ಗಳು ಅಥವಾ ಅಪ್ಪಿಯರೆನ್ಸ್ ಫೀಚರ್ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತವೆ. ಅಡಚಣೆ (occlusion) ಕೆಲವು ಫ್ರೇಮ್ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಮುಂದುವರಿದಾಗ, ಆ ಸೂಚನೆಗಳು ವಿಫಲವಾಗುತ್ತವೆ. ಆಗ ಟ್ರ್ಯಾಕರ್ ಒಂದೇ ವಸ್ತುವಿಗೆ ಹೊಸ ಗುರುತನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ ಅಥವಾ ಒಂದು ವಸ್ತುವಿನ ಗುರುತನ್ನು ಮತ್ತೊಂದಕ್ಕೆ ವರ್ಗಾಯಿಸುತ್ತದೆ. ಈ ಮಧ್ಯೆ, ಸೆಗ್ಮೆಂಟರ್ ಲೇಬಲ್ಗಳು ಬದಲಾಗುತ್ತಿವೆ ಎಂಬ ಅರಿವಿಲ್ಲದೆಯೇ ಮಾಸ್ಕ್ಗಳನ್ನು ತಯಾರಿಸುತ್ತಲೇ ಇರುತ್ತದೆ. ಈ ಬದಲಾವಣೆಯನ್ನು ಸರಿಪಡಿಸಲು ಭಾರೀ ಪೋಸ್ಟ್-ಪ್ರೊಸೆಸಿಂಗ್ ಅಥವಾ ಮ್ಯಾನುಯಲ್ ಅ𝗻ೋಟೇಶನ್ ಅಗತ್ಯವಾಗುತ್ತದೆ, ಇದು ಆಟೊಮೇಷನ್ನ ಉದ್ದೇಶವನ್ನೇ ವ್ಯರ್ಥ ಮಾಡುತ್ತದೆ.
ವಸ್ತುಗಳು ಒಂದರ ಮೇಲೊಂದು ಬಂದಾಗ ಸಾಂಪ್ರದಾಯಿಕ ಮಾಡೆಲ್ಗಳು ಹೆಚ್ಚಾಗಿ ಟ್ರ್ಯಾಕ್ ಕಳೆದುಕೊಳ್ಳುತ್ತವೆ. ಈ ತಪ್ಪುಗಳು ಯಾದೃಚ್ಛಿಕವಾಗಿರದೆ, ರಚನಾತ್ಮಕವಾಗಿರುತ್ತವೆ. ಸಮಯವನ್ನು ನಂತರದ ವಿಷಯವಾಗಿ ಪರಿಗಣಿಸುವ ಪೈಪ್ಲೈನ್ವು ನಿರಂತರತೆಯೊಂದಿಗೆ ಹೋರಾಡಲೇಬೇಕಾಗುತ್ತದೆ.
ಮಲ್ಟಿ-ಕಟ್ ತರುವ ಪ್ರಯೋಜನಗಳು
ಮಲ್ಟಿ-ಕಟ್ ಫಾರ್ಮುಲೇಶನ್ ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಮತ್ತು ಟ್ರ್ಯಾಕಿಂಗ್ ನಡುವಿನ ಗೋಡೆಯನ್ನು ಕರಗಿಸುತ್ತದೆ. ಕಡಕವಾಗಿ ಬೇರ್ಪಟ್ಟ ಮಾಸ್ಕ್ಗಳ ಸರಣಿಯನ್ನು ತಯಾರಿಸಿ ನಂತರ ಅವುಗಳನ್ನು ಜೋಡಿಸುವ ಬದಲು, ಈ ವಿಧಾನವು ಸ್ಥಳ ಮತ್ತು ಸಮಯ ಎರಡನ್ನೂ ಒಳಗೊಂಡಿರುವ ಒಂದು ಗ್ರಾಫ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಫ್ರೇಮ್ನಲ್ಲಿರುವ ಪ್ರತಿಯೊಂದು ಸಂಭಾವ್ಯ ವಸ್ತು ಪ್ರದೇಶವು ಒಂದು ನೋಡ್ (node) ಆಗುತ್ತದೆ. ಎಡ್ಜ್ಗಳು (Edges) ಒಂದೇ ಫ್ರೇಮ್ನ ಒಳಗಿರುವ ಅಥವಾ ಸತತ ಫ್ರೇಮ್ಗಳಲ್ಲಿರುವ ಪ್ರದೇಶಗಳನ್ನು ಸಂಪರ್ಕಿಸುತ್ತವೆ. ನಂತರ ಅಲ್ಗಾರಿದಮ್ ಆ ಎಡ್ಜ್ಗಳನ್ನು ಕತ್ತರಿಸುವ ಅತ್ಯುತ್ತಮ ಮಾರ್ಗವನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ, ಇದರಿಂದ ಉಳಿದ ಕನೆಕ್ಟೆಡ್ ಕಾಂಪೊನೆಂಟ್ಗಳು ವಿಡಿಯೋದಲ್ಲಿ ನೈಸರ್ಗಿಕವಾಗಿ ಚಲಿಸುವ ಸ್ಥಿರ ವಸ್ತುಗಳಾಗಿ ರೂಪಗೊಳ್ಳುತ್ತವೆ.
ನಿರ್ಧಾರವು ಗ್ಲೋಬಲ್ ಆಗಿರುವುದರಿಂದ, ಹದಿನೈದನೇ ಫ್ರೇಮ್ನಲ್ಲಿನ ಗಡಿಯ ತಿದ್ದುಪಡಿ ಐದನೇ ಫ್ರೇಮ್ನಲ್ಲಿನ ಪುರಾವೆಯಿಂದ ಪ್ರಭಾವಿತವಾಗಬಹುದು. ಇಬ್ಬರು ವ್ಯಕ್ತಿಗಳು ಪರಸ್ಪರ ದಾಟಿದಾಗ, ಈ ಫಾರ್ಮುಲೇಶನ್ ಕೇವಲ ವೇಗವನ್ನು ಆಧರಿಸಿ ಊಹಿಸುವ ಅಗತ್ಯವಿಲ್ಲ. ಇದು ಅಪ್ಪಿಯರೆನ್ಸ್, ಆಕಾರ, ಚಲನೆ ಮತ್ತು ಗಡಿಯ ಸುಸಂಬದ್ಧತೆ ಎಲ್ಲವನ್ನೂ ಏಕಕಾಲದಲ್ಲಿ ಪರಿಗಣಿಸುತ್ತದೆ. ಮಾಸ್ಕ್ ಗುಣಮಟ್ಟ ಮತ್ತು ಟ್ರ್ಯಾಕ್ ಗುಣಮಟ್ಟ ಎರಡನ್ನೂ ಒಂದೇ ಉದ್ದೇಶದ ಅಡಿಯಲ್ಲಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗುತ್ತದೆ. ಸಾಲ್ವರ್ ಒಂದು ಗುರುತನ್ನು ನಿರ್ಧರಿಸಿದಾಗ, ಅದು ಆ ಪಿಕ್ಸೆಲ್ಗಳು ಸ್ಥಳೀಯವಾಗಿ (spatially) ಸರಿಯಾಗಿವೆ ಎಂದು ಈಗಾಗಲೇ ಪರಿಶೀಲಿಸಿರುತ್ತದೆ. ಈ ಸಂಯೋಜನೆಯು ಪೈಪ್ಲೈನ್ ವಿಧಾನವನ್ನು ವಿಫಲಗೊಳಿಸುವ ಅಡಚಣೆಗಳಿಂದ (occlusions) ಹೊರಬರಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ದೃಶ್ಯ ಡೇಟಾವನ್ನು ನೇರವಾಗಿ ಟ್ರ್ಯಾಕಿಂಗ್ ಲಾಜಿಕ್ಗೆ ಲಿಂಕ್ ಮಾಡುವುದು ಫೀಡ್ಬ್ಯಾಕ್ ಲೂಪ್ ಅನ್ನು ಮುಚ್ಚುತ್ತದೆ. ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಟ್ರ್ಯಾಕಿಂಗ್ಗೆ ಮಾಹಿತಿ ನೀಡುತ್ತದೆ ಮತ್ತು ಟ್ರ್ಯಾಕಿಂಗ್ ನಿರ್ಬಂಧಗಳು ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಅನ್ನು ಸರಿಪಡಿಸುತ್ತವೆ. ಸಿಸ್ಟಮ್ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ಪ್ರತ್ಯೇಕವಾಗಿ ಊಹಿಸುವುದನ್ನು ನಿಲ್ಲಿಸುವುದರಿಂದ, ನೀವು ಕಡಿಮೆ ಮ್ಯಾನುಯಲ್ ತಿದ್ದುಪಡಿಗಳೊಂದಿಗೆ ಹೆಚ್ಚು ನಿಖರವಾದ ಫಲಿತಾಂಶಗಳನ್ನು ಪಡೆಯುತ್ತೀರಿ.
ಇದು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಎಲ್ಲಿ ಕಂಡುಬರುತ್ತದೆ
ಏಕೀಕೃತ ಫಾರ್ಮುಲೇಶನ್ನ ಪ್ರಯೋಜನಗಳು ಕೇವಲ ಸೈದ್ಧಾಂತಿಕವಾಗಿಲ್ಲ. ಅವು ನಿಯೋಜನೆಯಲ್ಲಿ (deployment) ನಿರಂತರವಾಗಿ ಎದುರಾಗುವ ಮೂರು ನಿರ್ದಿಷ್ಟ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಬಹಳ ಮುಖ್ಯವಾಗಿವೆ.
ಫ್ರೇಮ್-ಟು-ಫ್ರೇಮ್ ಸ್ಥಿರತೆ. ಸ್ಪೋರ್ಟ್ಸ್ ಅನಾಲಿಟಿಕ್ಸ್ನಲ್ಲಿ, ಕ್ರೀಡಾಪಟುವಿನ ಹೆಜ್ಜೆಯ ಉದ್ದ ಅಥವಾ ಕೀಲುಗಳ ಕೋ angleಗಳಂತಹ ಬಯೋಮೆಕಾನಿಕಲ್ ಮೆಟ್ರಿಕ್ಸ್ ಅನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಹೊರತೆಗೆಯಲು ಕ್ರೀಡಾಪಟುವಿನ ಆಕೃತಿ (silhouette) ನಿಖರವಾಗಿರಬೇಕಾಗುತ್ತದೆ. ಸೆಗ್ಮೆಂಟ್ೇಶನ್ ಟ್ರ್ಯಾಕಿಂಗ್ನಿಂದ ಸ್ವತಂತ್ರವಾಗಿ ಅಲುಗಾಡಿದರೆ, ಅದರ ಪರಿಣಾಮವಾಗಿ ಕಿನೆಮ್ಯಾಟಿಕ್ಸ್ ಅನಿಶ್ಚಿತವಾಗುತ್ತದೆ. ಏಕೀಕೃತ ಫಾರ್ಮುಲೇಶನ್ ಕ್ರೀಡಾಪಟುವಿನ ಹೊರರೇಖೆಯನ್ನು ಇಡೀ ಕ್ಲಿಪ್ನಲ್ಲಿ ಒಂದು ನಿರಂತರ ಘಟಕವಾಗಿ ಪರಿಗಣಿಸುವ ಮೂಲಕ ಅಂತಹ ಅಸ್ಥಿರತೆಯನ್ನು ಹೋಗಲಾಡಿಸುತ್ತದೆ.
ಗಾಢವಾದ ಜನಸಂದಣಿ ಇರುವ ದೃಶ್ಯಗಳು. ಜನರು ಗುಂಪುಗೂಡಿದಾಗ ಕಣ್ಗಾವಲು (Surveillance) ಮತ್ತು ಜನಸಂಖ್ಯೆ ಎಣಿಕೆಯ ಅಪ್ಲಿಕೇಶನ್ಗಳು ನಿಖರತೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತವೆ. ಪ್ರತ್ಯೇಕ ಟ್ರ್ಯಾಕರ್ಗಳು ಹೆಚ್ಚಾಗಿ ಗುರುತುಗಳನ್ನು (identities) ವಿಲೀನಗೊಳಿಸುತ್ತವೆ ಅಥವಾ ದೇಹಗಳ ನಡುವಿನ ಅಂತರದಲ್ಲಿ ಕಾಲ್ಪನಿಕ ವಸ್ತುಗಳನ್ನು (phantom objects) ಸೃಷ್ಟಿಸುತ್ತವೆ. ದೃಶ್ಯ ಸಾಕ್ಷ್ಯಗಳನ್ನು ನೇರವಾಗಿ ಟ್ರ್ಯಾಕಿಂಗ್ ತರ್ಕಕ್ಕೆ (tracking logic) ಜೋಡಿಸುವ ಮೂಲಕ, multi-cut ವಿಧಾನವು ಜನಸಂದಣಿ ಇರುವ ದೃಶ್ಯಗಳಲ್ಲಿ ವಸ್ತುವಿನ ಗುರುತನ್ನು ಉತ್ತಮವಾಗಿ ಕಾಯ್ದುಕೊಳ್ಳುತ್ತದೆ. ಅವರ ಬೌಂಡಿಂಗ್ ಬಾಕ್ಸ್ಗಳು (bounding boxes) ಸಂಪೂರ್ಣವಾಗಿ ಒಂದರ ಮೇಲೊಂದು ಬಂದರೂ ಸಹ ವ್ಯಕ್ತಿಗಳು ಪ್ರತ್ಯೇಕವಾಗಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತಾರೆ.
ಗಡಿಗಳ ಸಮಗ್ರತೆ. ರೋಬೊಟಿಕ್ಸ್ನಲ್ಲಿ, ಒಂದು pick-and-place ವ್ಯವಸ್ಥೆಯು ವಸ್ತುಗಳನ್ನು ಹಿಡಿಯಲು (grasps) ನಿಖರವಾದ ವಸ್ತುವಿನ ಹೊರರೇಖೆಗಳ (contours) ಅಗತ್ಯವನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಕಾಲಾನುಕ್ರಮದ ಸಂದರ್ಭವನ್ನು (temporal context) ನಿರ್ಲಕ್ಷಿಸುವ ಸೆಗ್ಮೆಂಟೇಶನ್ ಮಾಡೆಲ್ ಹಿನ್ನೆಲೆಯ ಭಾಗವನ್ನು ಸೇರಿಸಬಹುದು ಅಥವಾ ವಸ್ತುವಿನ ಒಂದು ಮೂಲೆಯನ್ನು ಕತ್ತರಿಸಬಹುದು. ಸೆಗ್ಮೆಂಟೇಶನ್ ಮತ್ತು ಟ್ರ್ಯಾಕಿಂಗ್ ಒಂದೇ ಉದ್ದೇಶವನ್ನು ಹಂಚಿಕೊಂಡಾಗ, ಗಡಿಗಳು ಕಾಲಾನುಕ್ರಮದಲ್ಲಿ ಸ್ಥಿರವಾಗಿರಬೇಕು ಎಂದು ಮಾಡೆಲ್ ಕಲಿಯುತ್ತದೆ. ಇದರ ಪರಿಣಾಮವಾಗಿ ಬರುವ ಮಾಸ್ಕ್ಗಳು (masks) ನೈಜ ಅಂಚುಗಳಿಗೆ ಹೆಚ್ಚು ನಿಖರವಾಗಿ ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ, ಅಂದರೆ ಹಿಡಿಯುವಲ್ಲಿ ವಿಫಲವಾಗುವ ಸಾಧ್ಯತೆಗಳು ಕಡಿಮೆಯಾಗುತ್ತವೆ ಮತ್ತು ಹೆಚ್ಚಿನ ಸುರಕ್ಷತಾ ಅಂತರಗಳ (safety margins) ಅಗತ್ಯವಿರುವುದಿಲ್ಲ.
ಉತ್ತಮ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು
ವಿಡಿಯೋ ವಿಶ್ಲೇಷಣೆ ಅಥವಾ ರೋಬೊಟಿಕ್ಸ್ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ, ಈ ಬದಲಾವಣೆಯು ನಿಮ್ಮ ವ್ಯವಸ್ಥೆಯನ್ನು ನೀವು ಹೇಗೆ ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತೀರಿ (architect) ಎಂಬುದರ ಮೇಲೆ ಪ್ರಾಯೋಗಿಕ ಪರಿಣಾಮಗಳನ್ನು ಬೀರುತ್ತದೆ.
ಡಿಟೆಕ್ಷನ್, ಸೆಗ್ಮೆಂಟೇಶನ್ ಮತ್ತು ಟ್ರ್ಯಾಕಿಂಗ್ ಅನ್ನು ಕನ್ವೇಯರ್ ಬೆಲ್ಟ್ ಮೂಲಕ tensorsಗಳನ್ನು ವರ್ಗಾಯಿಸುವ ಮೂರು ಪ್ರತ್ಯೇಕ ಮೈಕ್ರೋಸರ್ವಿಸ್ಗಳೆಂದು ಭಾವಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಬದಲಾಗಿ, ಸಂಯೋಜಿತ ಉದ್ದೇಶವನ್ನು (joint objective) ಹೊಂದಿರುವ ಫ್ರೇಮ್ವರ್ಕ್ಗಳಿಗಾಗಿ ಹುಡುಕಿ. ನೀವು ಕಸ್ಟಮ್ ಪೈಪ್ಲೈನ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಗ್ರಾಫ್ ರಚನೆಯು ಒಂದೇ loss ನಲ್ಲಿस्थानಿಕ ಸಾಮ್ಯತೆ (spatial affinity) ಮತ್ತು ಕಾಲಾನುಕ್ರಮದ ನಿರಂತರತೆ (temporal continuity) ಎರಡನ್ನೂ ಎನ್ಕೋಡ್ ಮಾಡಬಲ್ಲದೇ ಎಂದು ಪರಿಗಣಿಸಿ. ನೀವು ಪೂರ್ಣ ಪ್ರಮಾಣದ multi-cut solver ಅನ್ನು ನೀವೇ ಅನುಷ್ಠಾನಗೊಳಿಸದಿದ್ದರೂ ಸಹ, ಈ ತತ್ವವು ಅನ್ವಯಿಸುತ್ತದೆ. ಕಾಲಾನಂತರದಲ್ಲಿನ ನೋಟವನ್ನು (appearance) ಪ್ರತಿ ಫ್ರೇಮ್ನ ಮಾಸ್ಕ್ನ ಗುಣಮಟ್ಟದೊಂದಿಗೆ ಜೋಡಿಸುವ ನಿರ್ಬಂಧಗಳನ್ನು (constraints) ಸೇರಿಸಿ.
ಅಡಚಣೆಗಳ (occlusion) ಮೇಲೆ ಕಠಿಣವಾಗಿ ಪರೀಕ್ಷಿಸಿ. ಸರಳ ಮಾದರಿಗಳಲ್ಲಿ ಚಲಿಸುವ ಪ್ರತ್ಯೇಕ ವಸ್ತುಗಳಿರುವ ಡೆಮೊ ವಿಡಿಯೋವು ಪೈಪ್ಲೈನ್ ವಿಧಾನದ ದೌರ್ಬಲ್ಯಗಳನ್ನು ಬಹಿರಂಗಪಡಿಸುವುದಿಲ್ಲ. ಗುರಿಗಳು ಒಂದರ ಮೇಲೊಂದು ಬರುವ (overlap), ಅಡಚಣೆಯ ಮಧ್ಯದಲ್ಲಿ ಬೆಳಕು ಬದಲಾಗುವ ಮತ್ತು ವಸ್ತುಗಳು ಪರದೆಯ ಹೊರಗಿನಿಂದ ಮರಳಿ ಬರುವ ಸರಣಿಗಳನ್ನು (sequences) ಸಂಗ್ರಹಿಸಿ. ಇವುಗಳೇ ಕೇವಲ ಜೋಡಿಸಲಾದ ಪೈಪ್ಲೈನ್ ಮತ್ತು ನಿಜವಾದ ಏಕೀಕೃತ (unified) ಪೈಪ್ಲೈನ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸುವ ಕ್ಷಣಗಳು.
ನಿಮ್ಮ ಅ𝗻ೋಟೇಶನ್ (annotation) ಕಾರ್ಯತಂತ್ರವನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಸಿದ್ಧಪಡಿಸಿ. ಸಂಯೋಜಿತ ಮಾಡೆಲ್ಗಳಿಗೆ ಕೇವಲ ಸೆಗ್ಮೆಂಟೇಶನ್ ಅಥವಾ ಕೇವಲ ಟ್ರ್ಯಾಕಿಂಗ್ ಡೇಟಾ ಸೆಟ್ಗಳಿಗಿಂತ ವಿಭಿನ್ನವಾದ ground truth ರಚನೆಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ನೀವು ಕೇವಲ ಪ್ರತಿ ಚಿತ್ರದ ಪಿಕ್ಸೆಲ್ ವರ್ಗಗಳನ್ನು (pixel classes) ಮಾತ್ರವಲ್ಲದೆ, ಎಲ್ಲಾ ಫ್ರೇಮ್ಗಳಲ್ಲಿ ಇನ್ಸ್ಟೆನ್ಸ್ ಗುರುತುಗಳನ್ನು (instance identities) ಸ್ಥಿರವಾಗಿ ಲೇಬಲ್ ಮಾಡಬೇಕಾಗಬಹುದು. ಮೊದಲೇ ಲೇಬಲಿಂಗ್ ಮಾಡಲು ಮಾಡುವ ಹೂಡಿಕೆಯು, ನಿಯೋಜನೆಯ (deployment) ಸಮಯದಲ್ಲಿ ಕೈಯಿಂದ ಮಾಡುವ ತಿದ್ದುಪಡಿಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ ನಂತರ ಪ್ರಯೋಜನ ನೀಡುತ್ತದೆ.
ನಿಜವಾದ ಸಾರಾಂಶ
ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಮಾಡೆಲ್ ಸಾಮರ್ಥ್ಯಗಳು ಕೊರತೆಯಿದ್ದಾಗ ಸೆಗ್ಮೆಂಟೇಶನ್ ಮತ್ತು ಟ್ರ್ಯಾಕಿಂಗ್ ಅನ್ನು ಸ್ವತಂತ್ರ ಕೆಲಸಗಳೆಂದು ಪರಿಗಣಿಸುವುದು ಸರಿಯಾಗಿತ್ತು. ಆದರೆ ಈಗ ಅದು ಅನ್ವಯಿಸುವುದಿಲ್ಲ. multi-cut ಸೂತ್ರವು ಈ ಎರಡು ಕಾರ್ಯಗಳು ವಾಸ್ತವವಾಗಿ ಒಂದೇ ಎಂದು ತೋರಿಸುತ್ತದೆ: ಅಂದರೆ ಕಾಲಾನಂತರದಲ್ಲಿ ಉಳಿಯುವ ಸುಸಂಬದ್ಧ ವಸ್ತುಗಳನ್ನು (coherent objects) ಕಂಡುಹಿಡಿಯುವುದು. ಇವುಗಳನ್ನು ಒಟ್ಟಿಗೆ ಪರಿಹರಿಸುವ ಮೂಲಕ, ಚಲನೆಯನ್ನು ಗೌರವಿಸುವ ಮಾಸ್ಕ್ಗಳನ್ನು ಮತ್ತು ಆಕಾರವನ್ನು ಗೌರವಿಸುವ ಟ್ರ್ಯಾಕ್ಗಳನ್ನು ನೀವು ಪಡೆಯುತ್ತೀರಿ. ಇದರ ಫಲಿತಾಂಶವು ಫ್ರೇಮ್ಗಳ ನಡುವಿನ ದೋಷಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವ, ಚಲಿಸುವ ವಸ್ತುಗಳ ಸುತ್ತ ಅಚ್ಚುಕಟ್ಟಾದ ಗಡಿಗಳನ್ನು ರಚಿಸುವ ಮತ್ತು ಅಡಚಣೆಗಳು ಹಾಗೂ ಜನಸಂದಣಿಯ ಸಂಕೀರ್ಣ ವಾಸ್ತವತೆಯಲ್ಲಿಯೂ ನಿಖರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವ ವಿಡಿಯೋ ಅಂಡರ್ಸ್ಟ್ಯಾಂಡಿಂಗ್ ಪೈಪ್ಲೈನ್ ಆಗಿದೆ.