ಟಿಕ್ಟಾಕ್ ವೀಡಿಯೊ ಆರ್ಕೈವ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು
ನನ್ನ ಕಪಾಟಿನಲ್ಲಿರುವ ಒಂದು NAS ನಲ್ಲಿ ನನ್ನ ಬಳಿ 4,200 TikTok ವೀಡಿಯೊಗಳಿವೆ.
ಬಹಳ ಕಾಲದವರೆಗೆ, ಇದು ಗೊಂದಲಮಯವಾಗಿತ್ತು. video(1).mp4 ಮತ್ತು video(2).mp4 ಎಂಬ ಹೆಸರಿನ ಫೈಲ್ಗಳು ಮೂರು ಹಾರ್ಡ್ ಡ್ರೈವ್ಗಳು ಮತ್ತು ಒಂದು Google Drive ಫೋಲ್ಡರ್ನಲ್ಲಿ ಹರಡಿಕೊಂಡಿದ್ದವು. ನನಗೆ ಯಾವುದನ್ನೂ ಹುಡುಕಲು ಸಾಧ್ಯವಾಗುತ್ತಿರಲಿಲ್ಲ.
ಸಮಸ್ಯೆ ವೀಡಿಯೊಗಳ ಸಂಖ್ಯೆಯಲ್ಲಲ್ಲ ಎಂದು ನನಗೆ ಅರಿವಾಯಿತು. ಸಮಸ್ಯೆ ಎಂದರೆ ಒಂದು ವ್ಯವಸ್ಥೆಯ ಕೊರತೆ.
ನೀವು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಶಾರ್ಟ್-ಫಾರ್ಮ್ ವೀಡಿಯೊಗಳನ್ನು ಉಳಿಸಲು ಬಯಸಿದರೆ, ನಿಮಗೆ ಸರಿಯಾದ ಆರ್ಕೈವ್ ಬೇಕು. ಒಂದೊಂದಾಗಿ ವೀಡಿಯೊಗಳನ್ನು ಉಳಿಸುವುದು 50 ಫೈಲ್ಗಳಿಗೆ ಕೆಲಸ ಮಾಡಬಹುದು. ಆದರೆ 500 ಫೈಲ್ಗಳಾದಾಗ ಅದು ವಿಫಲವಾಗುತ್ತದೆ.
ಸಾವಿರಾರು ವೀಡಿಯೊಗಳನ್ನು ನಿರ್ವಹಿಸಲು ನಾನು ನಿರ್ಮಿಸಿದ ವ್ಯವಸ್ಥೆ ಇಲ್ಲಿದೆ.
ಮ್ಯಾನುಯಲ್ ಆಗಿ ಉಳಿಸುವಲ್ಲಿನ ಸಮಸ್ಯೆಗಳು • ಮೆಟಾಡೇಟಾ ಇಲ್ಲದಿರುವುದು. ಒಬ್ಬ ಕ್ರಿಯೇಟರ್ ತನ್ನ ಪ್ರೊಫೈಲ್ ಪ್ರೈವೇಟ್ ಮಾಡಿದಾಗ, ನೀವು ಅದರ ಸಂದರ್ಭವನ್ನು (context) ಕಳೆದುಕೊಳ್ಳುತ್ತೀರಿ. • ಡೂಪ್ಲಿಕೇಟ್ ಫೈಲ್ಗಳು. ಒಂದೇ ವೀಡಿಯೊವು ಹಲವು ಕಡೆಗಳಲ್ಲಿ ಇರುತ್ತದೆ. • ಹುಡುಕಲು ಸಾಧ್ಯವಾಗದಿರುವುದು. ಹೆಸರಿಡದ ಫೈಲ್ಗಳ ಸಮುದ್ರದಲ್ಲಿ ನೀವು ನಿರ್ದಿಷ್ಟ ವೀಡಿಯೊವನ್ನು ಹುಡುಕಲು ಸಾಧ್ಯವಿಲ್ಲ. • ಸ್ಟೋರೇಜ್ ಚದುರಿಕೆ. ಫೈಲ್ಗಳು ಎಲ್ಲೆಂದರಲ್ಲಿ ಇರುತ್ತವೆ, ಯಾವುದೇ ಒಂದು ಮುಖ್ಯ ಮೂಲ ಇರುವುದಿಲ್ಲ.
ಆರ್ಕೈವ್ ರಚನೆ ನಾನು ಕ್ರಿಯೇಟರ್ಗಳು ಮತ್ತು ವಿಷಯಗಳ ಆಧಾರದ ಮೇಲೆ ಫೋಲ್ಡರ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸುತ್ತೇನೆ.
- videos/creators/@username
- videos/topics/woodworking
- metadata/video_index.json
- thumbnails/cover-images
ಪ್ರತಿಯೊಂದು ವೀಡಿಯೊವು ಕಟ್ಟುನಿಟ್ಟಾದ ಹೆಸರಿಸುವ ನಿಯಮವನ್ನು ಅನುಸರಿಸುತ್ತದೆ: {YYYY-MM-DD}{creator-handle}{short-description}_{tiktok-id}.mp4
ಉದಾಹರಣೆ: 2024-03-15_@woodcraftjoe_mortise-and-tenon-joint_7341892056.mp4
ರಹಸ್ಯವೆಂದರೆ ಮೆಟಾಡೇಟಾ ಕೇವಲ ಒಂದು ವೀಡಿಯೊ ಫೈಲ್ ಸಾಕಾಗುವುದಿಲ್ಲ. ಪ್ರತಿ ಕ್ಲಿಪ್ನ ವಿವರಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ನಾನು JSON ಇಂಡೆಕ್ಸ್ ಅನ್ನು ಬಳಸುತ್ತೇನೆ. ನಾನು ಕ್ರಿಯೇಟರ್, ಪೋಸ್ಟ್ ಮಾಡಿದ ದಿನಾಂಕ, ವಿವರಣೆ, ಹ್ಯಾಶ್ಟ್ಯಾಗ್ಗಳು ಮತ್ತು ಡೌನ್ಲೋಡ್ ಮಾಡಿದ ಸಮಯದಲ್ಲಿನ ವೀಕ್ಷಣೆಗಳ ಸಂಖ್ಯೆಯನ್ನು (view count) ಸಹ ದಾಖಲಿಸುತ್ತೇನೆ.
ಇದು ಹುಡುಕಾಟವನ್ನು ತಕ್ಷಣವೇ ಮಾಡುವಂತೆ ಮಾಡುತ್ತದೆ. ಟ್ಯಾಗ್ ಅಥವಾ ಕ್ರಿಯೇಟರ್ ಮೂಲಕ ಒಂದು ಸೆಕೆಂಡಿಗಿಂತ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ವೀಡಿಯೊಗಳನ್ನು ಹುಡುಕಲು ನಾನು ಸರಳವಾದ Python ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಬಳಸುತ್ತೇನೆ.
ಅತ್ಯುತ್ತಮ 3 ಪಾಠಗಳು
- ಮೊದಲ ದಿನದಿಂದಲೇ ಮೆಟಾಡೇಟಾವನ್ನು ಆರ್ಕೈವ್ ಮಾಡಿ. ಹಳೆಯ ವೀಡಿಯೊಗಳಿಗೆ ನಂತರ ಡೇಟಾವನ್ನು ಸೇರಿಸುವುದು ಒಂದು ದುಸ್ತರ ಕೆಲಸ.
- ಬೇಸರ ತರಿಸುವ ಭಾಗಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ (Automate). ಇಡೀ ಪ್ರೊಫೈಲ್ಗಳನ್ನು ಬ್ಯಾಚ್ಗಳ ರೂಪದಲ್ಲಿ ಡೌನ್ಲೋಡ್ ಮಾಡಲು ಪರಿಕರಗಳನ್ನು (tools) ಬಳಸಿ.
- ಬಹು ಮಾಧ್ಯಮದ ಸ್ಟೋರೇಜ್ ಹಂತಗಳನ್ನು ಬಳಸಿ. NAS ನಲ್ಲಿ ಪ್ರೈಮರಿ ಕಾಪಿ, ಕ್ಲೌಡ್ನಲ್ಲಿ ಮಿರರ್ ಮತ್ತು ಎಕ್ಸ್ಟರ್ನಲ್ ಡ್ರೈವ್ನಲ್ಲಿ ಕೋಲ್ಡ್ ಸ್ಟೋರೇಜ್ ಅನ್ನು ಇರಿಸಿ.
ಕೇವಲ ಡೌನ್ಲೋಡ್ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಆರ್ಕೈವ್ ಮಾಡುವುದನ್ನು ಪ್ರಾರಂಭಿಸಿ.