𝗧𝗶𝗸𝗧𝗼𝗸 𝘃𝗶𝗱𝗲𝗼 𝗮𝗿𝗰𝗵𝗶𝘃𝗲 𝘀𝘆𝘀𝘁𝗲𝗺 𝗻𝗶𝗿𝗺𝗮ṇ
माझ्या कपाटातील एका NAS मध्ये माझे ४,२०० TikTok व्हिडिओ आहेत.
बराच काळ हे सर्व गोंधळासारखे वाटत होते. माझ्याकडे तीन हार्ड ड्राइव्ह आणि एका Google Drive फोल्डरमध्ये video(1).mp4 आणि video(2).mp4 नावाची फाईल्स विखुरलेल्या होत्या. मला काहीही सापडत नसे.
मला जाणवले की समस्या व्हिडिओंच्या संख्येची नव्हती. समस्या होती तर एका प्रणालीचा (system चा) अभाव.
जर तुम्हाला मोठ्या प्रमाणात शॉर्ट-फॉर्म व्हिडिओ सेव्ह करायचे असतील, तर तुम्हाला एका योग्य आर्काइव्हची गरज आहे. एक-एक करून व्हिडिओ सेव्ह करणे ५० फाईल्ससाठी चालेल, पण ५०० फाईल्सच्या वेळी ते अपयशी ठरते.
हजारो व्हिडिओ व्यवस्थापित करण्यासाठी मी तयार केलेली प्रणाली खालीलप्रमाणे आहे.
𝗠𝗮𝗻𝘂𝗮𝗹 𝗦𝗮𝘃𝗶𝗻𝗴 𝗰𝗵𝗲 𝘀𝗮𝗺𝗮𝘀𝘆ā • कोणतीही मेटाडेटा (metadata) नाही. जेव्हा एखादा क्रिएटर प्रायव्हेट होतो, तेव्हा तुम्ही संदर्भासह माहिती गमावता. • डुप्लिकेट फाईल्स. एकाच व्हिडिओच्या अनेक प्रती वेगवेगळ्या ठिकाणी तयार होतात. • शोधण्याची क्षमता शून्य. नावाशिवाय असलेल्या फाईल्सच्या महासागरात तुम्ही एखादा विशिष्ट व्हिडिओ शोधू शकत नाही. • स्टोरेजचा विखुरलेलापणा. फाईल्स सर्वत्र विखुरलेल्या असतात आणि माहितीचा कोणताही एक मुख्य स्रोत नसतो.
𝗔𝗿𝗰𝗵𝗶𝘃𝗲 𝗰𝗵𝗲 𝘀𝗮𝗻𝗰𝗵𝗮𝗻𝗮 मी क्रिएटर आणि विषयांवर आधारित फोल्डर प्रणाली वापरतो.
- videos/creators/@username
- videos/topics/woodworking
- metadata/video_index.json
- thumbnails/cover-images
प्रत्येक व्हिडिओ एका कडक नामकरण नियमाचे (naming rule) पालन करतो: {YYYY-MM-DD}{creator-handle}{short-description}_{tiktok-id}.mp4
उदाहरण: 2024-03-15_@woodcraftjoe_mortise-and-tenon-joint_7341892056.mp4
𝗠𝗲𝘁𝗮𝗱𝗮𝘁𝗮 𝗵𝗲𝗰𝗵 𝘀𝗮𝗰𝗰𝗵𝗲 𝘀𝗲𝗰𝗿𝗲𝘁 𝗮𝗵𝗲 केवळ एक व्हिडिओ फाईल पुरेशी नसते. मी प्रत्येक क्लिपचा तपशील साठवण्यासाठी JSON इंडेक्स वापरतो. मी क्रिएटर, पोस्टची तारीख, वर्णन, हॅशटॅग आणि डाउनलोड करतानाचे व्ह्यू काउंट (view count) देखील रेकॉर्ड करतो.
यामुळे शोधणे त्वरित होते. टॅग किंवा क्रिएटरनुसार एका सेकंदाच्या आत व्हिडिओ शोधण्यासाठी मी एक साधा Python स्क्रिप्ट वापरतो.
𝗧𝗼𝗽 𝟯 𝘀𝗶𝗸𝗵𝘃𝗲𝗹𝗲𝗹𝗲 𝗽𝗮𝗮𝘁𝗵
- पहिल्या दिवसापासून मेटाडेटा आर्काइव्ह करा. जुन्या व्हिडिओंमध्ये नंतर डेटा जोडणे हे एक nightmare आहे.
- कंटाळवाणा भाग ऑटोमेट करा. संपूर्ण प्रोफाइल्स बॅचमध्ये डाउनलोड करण्यासाठी टूल्स वापरा.
- अनेक स्टोरेज टियर्स (storage tiers) वापरा. NAS वर एक मुख्य प्रत, क्लाउडवर मिरर आणि एक्सटर्नल ड्राइव्हवर कोल्ड स्टोरेज ठेवा.
फक्त डाउनलोड करणे थांबवा. आर्काइव्हिंग सुरू करा.