Eu remasterizei com IA uma intro de um jogo de 25 anos
Passei muito tempo remasterizando a introdução de um jogo do ano 2000. Usei IA para transformá-la em um vídeo limpo em 1080p.
Aprendi que o arquivo de origem importa mais do que o modelo de IA.
Aqui estão as minhas principais lições do projeto:
Escolha a melhor fonte. Eu tinha uma versão em 360p com áudio bom e uma versão em 1080p com áudio ruim. Escolhi a versão em 1080p para o vídeo e adicionei o áudio bom depois. Sempre forneça ao seu upscaler o arquivo de maior qualidade que conseguir encontrar.
Use clipes pequenos para testar. Não processe o vídeo completo de primeira. Passei 16 horas testando um único clipe de 5 segundos. Isso me ajudou a encontrar as configurações certas sem desperdiçar dias de tempo de processamento.
Controle o ruído. Movimentos rápidos causam cintilação (flickering). Usei uma escala
latent_noisebaixa para rostos para manter os detalhes. Usei uma escala mais alta para ações rápidas para evitar que a IA alucine novos detalhes a cada quadro.Divida por cenas, não por tempo. Use ferramentas como PySceneDetect para encontrar cortes. Não use divisões baseadas em tempo. Divisões baseadas em tempo causam problemas de sincronia de áudio. Use cortes precisos por quadro para manter seu áudio e vídeo alinhados.
Use a nuvem para tarefas grandes. Meu hardware local era lento. Aluguei uma GPU profissional no vast.ai por cerca de US$ 2,70. Isso transformou um trabalho de 74 horas em um de 2 horas.
Truque para o upload final. Faça o upscale do seu vídeo para 4K antes de fazer o upload no YouTube. O YouTube oferece bitrates mais altos para vídeos em 4K. Isso mantém seu vídeo em 1080p com uma aparência nítida.
O código completo e o pipeline estão disponíveis no GitHub.
Source: https://github.com/andyskw/ig2-solarian-seedvr2-remaster
Optional learning community: https://t.me/GyaanSetuAi