ביצעתי Remaster מבוסס AI לפתיח של משחק בן 25 שנה
השקעתי זמן רב בשחזור (remastering) של פתיח משחק משנת 2000. השתמשתי ב-AI כדי להפוך אותו לווידאו נקי ברזולוציית 1080p.
למדתי שקובץ המקור חשוב יותר ממודל ה-AI.
הנה הלקחים העיקריים שלי מהפרויקט:
בחרו את המקור הטוב ביותר. הייתה לי גרסת 360p עם אודיו טוב וגרסת 1080p עם אודיו גרוע. בחרתי בגרסת ה-1080p עבור הווידאו והוספתי את האודיו הטוב מאוחר יותר. תמיד תזינו ל-upscaler שלכם את הקובץ באיכות הגבוהה ביותר שתוכלו למצוא.
השתמשו בקטעים קצרים לבדיקה. אל תריצו את הווידאו המלא מיד. השקעתי 16 שעות בבדיקה של קטע אחד בן 5 שניות. זה עזר לי למצוא את ההגדרות הנכונות מבלי לבזבז ימים של זמן עיבוד (compute time).
שליטה ברעש (noise). תנועה מהירה גורמת להבהובים (flickering). השתמשתי ב-latent_noise scale נמוך עבור פנים כדי לשמור על פרטים. השתמשתי ב-scale גבוה יותר עבור פעולה מהירה כדי למנוע מה-AI להזות (hallucinating) פרטים חדשים בכל פריים.
חלקו לפי שוטים (shots), לא לפי זמן. השתמשו בכלים כמו PySceneDetect כדי למצוא חיתוכים. אל תשתמשו בחלוקה מבוססת זמן. חלוקה מבוססת זמן גורמת לבעיות בסנכרון האודיו. השתמשו בחיתוכים מדויקים לפי פריים (frame-exact) כדי לשמור על האודיו והווידאו מסונכרנים.
השתמשו בענן למשימות גדולות. החומרה המקומית שלי הייתה איטית. שכרתי GPU מקצועי ב-vast.ai תמורת כ-2.70$. זה הפך משימה של 74 שעות למשימה של שעתיים בלבד.
טריק להעלאה סופית. בצעו upscaling לווידאו ל-4K לפני ההעלאה ליוטיוב. יוטיוב מקצה bitrates גבוהים יותר לסרטוני 4K. זה שומר על הווידאו שלכם ב-1080p נראה חד וברור.
הקוד המלא וה-pipeline זמינים ב-GitHub.
מקור: https://github.com/andyskw/ig2-solarian-seedvr2-remaster
קהילת למידה אופציונלית: https://t.me/GyaanSetuAi