Selama bertahun-tahun, peminat setia Star Trek telah menggunakan kecerdasan tiruan dalam cubaan untuk membuat versi siri yang terkenal, Deep Space 9, yang kelihatan baik di TV moden. Ia kedengaran agak gila, tetapi saya terkejut untuk mengetahui bahawa ia sebenarnya cukup bagus - pastinya cukup baik sehingga syarikat media perlu mengambil perhatian (daripada hanya menghantar saya hak cipta).

Saya terinspirasi awal tahun ini untuk menonton rancangan tersebut, karya peminat yang selalu saya lihat di TV apabila ditayangkan tetapi tidak pernah terfikir dua kali. Setelah melihat remastered yang mengagumkan Star Trek: The Next Generation, saya merasa seharusnya saya mengulang siri yang lebih fokus pada ansambelnya. Mungkin, saya fikir, ia sedang menjalani proses remaster yang luas juga. Tidak!

Dengan sedih, saya mendapati bahawa walaupun remaster TNG adalah kejayaan besar secara teknikal, waktu tersebut bertepatan dengan kenaikan perkhidmatan penyiaran, bermakna set Blu-ray yang mahal tidak begitu laris. Proses itu menghabiskan lebih daripada $10 juta, dan jika ia tidak memberi pulangan untuk siri yang paling popular dalam francais tersebut, tidak mungkin pihak berkuasa melakukan remaster semula untuk DS9, yang disukai tetapi kurang berpotensi mendatangkan keuntungan.

Ini bermakna bahawa jika anda ingin menonton DS9 (atau Voyager untuk itu), anda perlu menontonnya lebih kurang pada kualiti yang disiarkan kembali pada tahun 90-an. Sama seperti TNG, ia diambil dengan filem tetapi diubah kepada pita video dengan resolusi sekitar 480p. Walaupun DVD menyediakan kualiti gambar yang lebih baik daripada penyiaran (kerana perkara seperti pulldown dan kedalaman warna) keutamaannya adalah tetap terhad oleh format di mana rancangan itu selesai.

Untuk TNG, mereka kembali ke negatif asal dan pada dasarnya mengedit semula seluruh rancangan, melakukan semula efek dan kompositing, melibatkan kos dan usaha yang besar. Mungkin itu akan berlaku pada abad ke-25 untuk DS9, tetapi pada masa ini tidak ada rancangan, dan walaupun mereka mengumumkannya esok, bertahun-tahun akan berlalu sebelum ia dilancarkan.

Jadi: Sebagai peminat DS9 bakal, dimanjakan oleh rescan cantik TNG, dan yang tidak suka idea gambar siaran NTSC yang leceh dipamerkan pada skrin 4K yang indah saya berada di mana? Ternyata: tidak bersendirian.

Untuk menaik taraf dengan berani...

Selama bertahun-tahun, peminat rancangan dan filem yang terpinggir oleh keretapi HD telah bekerja secara rahsia untuk mencari dan mengedarkan versi yang lebih baik daripada apa yang tersedia secara rasmi. Contoh yang paling terkenal adalah trilogi asal Star Wars, yang telah dikompromi secara tidak boleh dipulihkan oleh George Lucas semasa proses remaster rasmi, menyebabkan peminat mencari sumber alternatif untuk beberapa adegan: laserdiscs, edisi terhad, media promosi, giliran filem arsip yang terlupakan dan sebagainya. Edisi tidak rasmi ini merupakan kerja berterusan, dan dalam beberapa tahun terkini telah mula mengaplikasikan alat berdasarkan kecerdasan tiruan juga.

Alat-alat ini sebahagian besarnya tentang peningkatan kecerdasan dan pengecilan noise, yang kedua-duanya lebih menyakinkan dalam dunia Star Wars, di mana sebilangan besar rakaman filem asal sangat berbutir atau rosak. Tetapi anda mungkin beranggapan bahawa menaik taraf, membuat gambar lebih besar, adalah proses yang agak mudah - mengapa melibatkan AI?

Pasti terdapat cara mudah untuk menaik taraf, atau menukarkan resolusi video ke yang lebih tinggi. Ini dilakukan secara automatik apabila anda memiliki isyarat 720p yang diteruskan ke TV 4K, contohnya. Imej resolusi 1280 × 720 tidak kelihatan kecil di tengah skrin 3840 × 2160 - ia ditarik oleh faktor 3 dalam setiap arah supaya sesuai dengan skrin; tetapi walaupun imej tersebut kelihatan lebih besar, ia masih 720p dari segi resolusi dan butiran.

Algoritma mudah dan pantas seperti penapis bilinear menjadikan imej yang lebih kecil boleh ditonton di skrin besar walaupun ia bukan penjelmaan 2x atau 3x yang tepat, dan terdapat kaedah penskalaan yang lebih baik dengan sesetengah media (misalnya animasi, atau seni piksel). Tetapi secara keseluruhannya, anda mungkin boleh membuat kesimpulan bahawa tidak banyak yang boleh didapati melalui proses yang lebih intensif.

Dan itu benar sehingga suatu tahap, kecuali anda mula menjalani lubang kelinci yang hampir tak ada hujung untuk mencipta proses peningkatan yang lebih baik yang sebenarnya menambah butiran. Tetapi bagaimana anda boleh 'menambah' butiran yang tidak ada dalam imej itu? Nah, ia mengandunginya - atau dengan tepatnya, menyiratkan.

Ini adalah contoh yang sangat mudah. Bayangkan televisyen lama yang menunjukkan imej bulatan hijau di latar belakang yang berubah dari biru ke merah (saya menggunakan penapis CRT ini untuk mockup asas).

Anda boleh melihat ia adalah sebuah bulatan, tentu, tetapi jika anda melihat dengan teliti, ia sebenarnya agak kabur di mana bulatan dan latar belakang bertemu, betul, dan langkah dalam peringkat warna? Ia terhad oleh resolusi dan oleh kod video dan kaedah siaran, apatah lagi susunan sub-piksel dan fosfor televisyen lama.

Tetapi jika saya meminta anda untuk menghasilkan semula imej itu dalam resolusi tinggi dan warna, anda sebenarnya boleh melakukannya dengan kualiti yang lebih baik daripada yang pernah anda lihat, lebih tajam dan dengan warna yang lebih licin. Bagaimana? Kerana terdapat lebih banyak maklumat tersirat dalam imej daripada yang anda lihat. Jika anda cukup yakin apa yang ada sebelum butiran itu hilang semasa ia disandikan, anda boleh memasukkannya semula, seperti ini:

Terdapat banyak butiran yang dibawa dalam imej yang jelas tidak kelihatan - jadi sebenarnya, kita bukan menambah tetapi memulihkannya. Dalam contoh ini, saya telah membuat perubahan yang ekstrim bagi kesan (ia cukup mencolok, sebenarnya), tetapi dalam imageri fotografi ia biasanya jauh kurang tegas.

Pembesaran yang pintar

Di atas adalah contoh yang sangat mudah pemulihan butiran, dan sebenarnya sesuatu yang telah dilakukan secara sistematik selama bertahun-tahun dalam usaha pemulihan di pelbagai bidang, digital dan analog. Tetapi walaupun anda boleh melihat ia mungkin untuk mencipta imej dengan butiran yang lebih jelas daripada yang asal, anda juga melihat bahawa ia hanya dapat dilakukan kerana tahap tertentu pemahaman atau kecerdasan tentang imej tersebut. Formula matematik yang mudah tidak dapat melakukannya. Untungnya, kita sudah jauh dari zaman di mana formula matematik yang mudah adalah satu-satunya cara kita meningkatkan kualiti imej.

Dari alat sumber terbuka ke alat berjenama dari Adobe dan Nvidia, perisian peningkatan resolusi telah menjadi lebih meluas sejak kad grafik yang mampu melakukan pengiraan kompleks diperkenalkan. Keperluan untuk menaik taraf dengan lemah lembut klip atau tangkapan skrin dari resolusi rendah ke tinggi biasa terjadi pada hari ini di kira-kira puluhan industri dan konteks.

Suit kesan video sekarang menyertakan analisis imej yang kompleks dan algoritma peka-konteks, jadi sebagai contoh kulit atau rambut diperlakukan secara berbeza daripada permukaan air atau lambung kapal angkasa. Setiap parameter dan algoritma boleh diubah dan ditetapkan secara individu bergantung kepada keperluan pengguna atau imej yang dinaik taraf. Di antara pilihan yang paling digunakan adalah Topaz, suatu set alat pemprosesan video yang menggunakan teknik pembelajaran mesin.

Masalah dengan alat-alat ini adalah dua kali lipat. Pertama, kecerdasan hanya berjalan sejauh itu: tetapan yang mungkin sempurna untuk adegan di ruang angkasa tidak sesuai untuk adegan dalaman, atau sebuah hutan belantara atau pertandingan tinju. Malah dalam beberapa kes, pelbagai tembakan dalam satu adegan mungkin memerlukan pendekatan yang berbeza: sudut yang berbeza, ciri-ciri yang berbeza, jenis rambut, pencahayaan. Mencari dan mengunci tetapan Goldilocks itu adalah banyak kerja.

Kedua, algoritma-algoritma ini tidak murah atau (terutamanya apabila melibatkan alat sumber terbuka) mudah. Anda tidak hanya membayar untuk lesen Topaz - anda perlu menjalankannya pada sesuatu, dan setiap imej yang anda lalui menggunaan jumlah kuasa komputasi yang tidak sedikit. Mengira pelbagai parameter untuk satu bingkai mungkin mengambil beberapa saat, dan apabila anda mempertimbangkan bahawa terdapat 30 bingkai per saat selama 45 minit setiap episod, tiba-tiba anda menjalankan GPU $1,000 anda pada hadnya untuk berjam-jam pada satu masa - mungkin hanya untuk membuang hasil apabila anda menemui kombinasi tetapan yang lebih baik sedikit kemudian. Atau mungkin anda membayar untuk mengira di awan, dan sekarang hobi anda mempunyai yuran bulanan tambahan.

Untungnya, terdapat orang seperti Joel Hruska, bagi siapa proses yang melelahkan dan mahal ini adalah projek kegemaran.

'Saya cuba menonton rancangan itu di Netflix,' katanya kepada saya dalam temuramah. 'Ia keji.'

Seperti saya dan ramai (tetapi tidak terlalu ramai), dia dengan penuh harapan menantikan remaster rasmi untuk rancangan ini, seperti peminat Star Wars yang mengharapkan remaster komprehensif untuk potongan teater trilogi asal Star Wars. Komuniti kedua-dua tidak mendapatkan apa yang diinginkan.

'Saya telah menunggu 10 tahun untuk Paramount melakukannya, dan mereka belum,' katanya. Jadi dia bergabung dengan peminat lain yang semakin bersedia secara teknologi yang mengambil alih permasalahan mereka sendiri.

...