एक TikTok वीडियो आर्काइव सिस्टम बनाना
मेरे पास अपनी अलमारी में रखे एक NAS में 4,200 TikTok वीडियो हैं।
लंबे समय तक, यह सब बहुत अस्त-व्यस्त लगता था। मेरे पास तीन हार्ड ड्राइव और एक Google Drive फोल्डर में video(1).mp4 और video(2).mp4 जैसे नाम वाली फाइलें बिखरी हुई थीं। मैं कुछ भी नहीं ढूंढ पाता था।
मुझे एहसास हुआ कि समस्या वीडियो की संख्या नहीं थी। समस्या एक सिस्टम की कमी थी।
यदि आप बड़े पैमाने पर शॉर्ट-फॉर्म वीडियो सहेजना चाहते हैं, तो आपको एक उचित आर्काइव की आवश्यकता है। एक-एक करके वीडियो सहेजना 50 फाइलों के लिए तो ठीक है, लेकिन 500 पर यह काम नहीं आता।
हज़ारों वीडियो को मैनेज करने के लिए मैंने जो सिस्टम बनाया है, वह यहाँ है।
मैन्युअल रूप से सेव करने की समस्याएँ • कोई मेटाडेटा नहीं। जब कोई क्रिएटर अपना अकाउंट प्राइवेट कर देता है, तो आप उसका संदर्भ (context) खो देते हैं। • डुप्लिकेट फाइलें। अंत में आपके पास एक ही वीडियो कई जगहों पर हो जाता है। • सर्च करने में असमर्थता। बिना नाम वाली फाइलों के ढेर में आप किसी खास वीडियो को नहीं ढूंढ सकते। • स्टोरेज का बिखराव। फाइलें हर जगह होती हैं और उनका कोई एक मुख्य स्रोत (single source of truth) नहीं होता।
आर्काइव संरचना मैं क्रिएटर्स और विषयों (topics) पर आधारित एक फोल्डर सिस्टम का उपयोग करता हूँ।
- videos/creators/@username
- videos/topics/woodworking
- metadata/video_index.json
- thumbnails/cover-images
हर वीडियो एक सख्त नामकरण नियम का पालन करता है: {YYYY-MM-DD}{creator-handle}{short-description}_{tiktok-id}.mp4
उदाहरण: 2024-03-15_@woodcraftjoe_mortise-and-tenon-joint_7341892056.mp4
असली राज मेटाडेटा में है केवल एक वीडियो फाइल काफी नहीं है। मैं हर क्लिप का विवरण स्टोर करने के लिए एक JSON इंडेक्स का उपयोग करता हूँ। मैं क्रिएटर, पोस्ट की तारीख, विवरण, हैशटैग और डाउनलोड के समय व्यू काउंट (view count) तक को रिकॉर्ड करता हूँ।
इससे सर्च करना तुरंत हो जाता है। मैं टैग या क्रिएटर के आधार पर एक सेकंड से भी कम समय में वीडियो खोजने के लिए एक साधारण Python स्क्रिप्ट का उपयोग करता हूँ।
टॉप 3 सबक
- पहले दिन से ही मेटाडेटा आर्काइव करें। पुराने वीडियो में बाद में डेटा जोड़ना एक बुरा सपना है।
- उबाऊ कामों को ऑटोमेट करें। पूरे प्रोफाइल को बैच में डाउनलोड करने के लिए टूल्स का उपयोग करें।
- मल्टीपल स्टोरेज टियर्स का उपयोग करें। एक प्राइमरी कॉपी NAS पर, एक क्लाउड मिरर और एक एक्सटर्नल ड्राइव पर कोल्ड स्टोरेज के रूप में रखें।
सिर्फ डाउनलोड करना बंद करें। आर्काइव करना शुरू करें।