Adobe’nin bir sonraki büyük projesi, düşük çözünürlüklü videoları orijinal kalitesinin 8 katına yükseltebilen bir yapay zeka

Bir grup Adobe araştırmacısı kısa süre önce VideoGigaGAN adlı yeni bir üretken yapay zeka modeli hakkında bir makale yayınladı ve bunun gelecekteki bir üründe piyasaya sürülebileceğine inanıyoruz. Yaptığı şey, düşük kaliteli videoları, kararlılıktan veya kaynak materyalin önemli yönlerinden ödün vermeden orijinal çözünürlüklerinin sekiz katına kadar yükseltmektir. Projenin web sitesinde yeteneklerini gösteren birkaç demo klip bulunabilir. Bir şelalenin 128×128 piksel çözünürlükteki bulanık bir videosunu 1,024×1,024 piksel çözünürlükte çalışan bir görüntüye dönüştürebiliyor.

Yapay zeka ile ilgili dikkat çekici olan şey, daha ince ayrıntılardan kaçınmamasıdır. Cilt dokusu, kırışıklıklar, saç telleri ve daha fazlası insan deneklerin yüzlerinde görülebiliyor. Diğer demolar da benzer bir kalite seviyesine sahip. Bu teknoloji sayesinde gölette yüzen bir kuğuyu ve bir ağaçtaki çiçeği daha iyi seçebiliyorsunuz. Cilt kırışıklıklarına veya tüylere bu kadar odaklanmak tuhaf görünebilir. Ancak, Adobe gibi şirketlerin görüntü iyileştirici yapay zekayı geniş ölçekte uygulamayı hedeflemeleri halinde bu ayrıntı düzeyini yakalamaları gerekiyor.

Yapay Zekanın Geliştirilmesi

Muhtemelen platformun son projesi hakkında nasıl çalıştığı gibi birkaç sorunuz var. Şey, biraz karışık.

VideoGigaGAN’daki “GAN”, gerçekçi görüntüler oluşturabilen bir yapay zeka türü olan generative adversarial network anlamına geliyor. Adobe’nin versiyonu, gerçek fotoğrafların yanı sıra oluşturulan içeriği yükseltme konusunda uzmanlaşmış olan GigaGAN’ı temel alıyor. TheVerge’in belirttiği gibi bu teknolojiyle ilgili sorun, garip yapaylıklar gibi birden fazla sorun ortaya çıkmadan videoların kalitesini artıramamasıdır. Adobe araştırmacıları bu sorunu çözmek için çeşitli teknikler kullandılar.

Araştırma makalesi tüm süreci açıklıyor. Yoğun bir materyal olmasına rağmen resmin tamamını görmek için kendiniz okuyabilirsiniz. Temel olarak, bir videonun kareleri arasında tutarlılığı sağlamak için bir “akış güdümlü yayılma modülü”, yapaylıkları azaltmak için kenar yumuşatma ve ayrıntılardaki ani düşüşleri telafi etmek için bir “yüksek frekanslı özellik mekiği” kullanıldı. VideoGigaGAN’da az önce anlattıklarımızdan daha fazlası var, ancak özeti bu.

Potansiyel dahil etme

Bunu yakında çıkacak bir Adobe ürününde mi göreceğiz yoksa bağımsız bir uygulama olarak mı kullanıma sunulacak? Büyük olasılıkla – en azından biz öyle düşünüyoruz.

Geçtiğimiz yıl şirket, Firefly’ın lansmanından Acrobat’ın yeni asistanına kadar yazılımlarına yapay zeka uygulamaya yoğun bir şekilde odaklandı. Birkaç ay önce Adobe MAX 2023 etkinliğinde, Project Res Up olarak adlandırılan bir video yükseltici önizlendi ve performansı VideoGigaGAN demolarında gördüğümüze benziyor. 1940’lardan kalma eski bir film 480 x 360 görüntü çözünürlüğünde çalışırken 1.280 x 960 net çözünürlüğe ulaşıyor. Nehirdeki bir filin bulanık görüntüleri kristal berraklığına kavuşuyor. Sunucu, yazılımın bir klibi orijinal kalitesinin dört katına nasıl yükseltebileceğinden bile bahsediyor.