Veri bilimi ve hesaplamalı bilimler, ardında yatan matematiksel temelleri ve teorisi bir yana, uygulamalarına baktığımızda temel bilimlerin farklı alanlarında yeni keşiflere yardım ediyor. Günlük hayatta çoğumuzun dikkatini çekenler ise genellikle makro ya da ya mikro dünyalar. Mesela yeni keşfedilen bir gezegen, Mars’ın yüzeyi ya da uydulardan çekilmiş dünya görüntüleri ya da bir virüsün değişen yapısı üzerindeki istatistiksel analizler. Peki, farklı ölçeklerde doğaya ve gözümüzün görebileceği kültür mirasımıza baksak? Kil tabletler, elyazmaları, freskler, heykeller ve daha fazlası. Birçoğu da ya zamanın ve iklimin yıpratıcılığına yenik düştü: Eksikler, kırıklar, tahrif olmuş kısımlar içeriyor ya da insan eliyle zarar verildi. İnsan eliyle oluşan hasar, her zaman barbarlıkla ve yıkımla da olmadı. Mesela Troya antik kentinde nasıl on farklı şehir birbirinin üstüne inşa edildiyse, kent kalıntılarındaki hasarlar değişen kültürlerin ve zamanın da bir sonucu. Arkeolojik kalıntıları, yazıları, resimleri ve fotoğrafları temizlemek, onarmak, anlamlandırmak ve geleceğe aktarmak istiyoruz. Renklerin olmadığı eski siyah beyaz fotoğraflar, bir kısmı okunamayan kil tabletler ya da depremlerle paramparça olmuş fresk parçaları ve daha fazlası… Bu ve ardından gelecek birkaç yazıda, eksik parçaları tamamlamada teknolojinin kullanımına değineceğim. Gelin bu yazıda fotoğraflarla başlayalım.

Renkler ve Fotoğrafın Dünü

Resim sanatına bakacak olursak, renk kullanımı sadece sanatçının tercihiyle ilgili gibi görünür. Peki, fotoğrafta nasıl? Yani eskiden renkleri kaydedecek teknoloji yoktu da o yüzden mi eski fotoğraflar hep siyah beyaz, yoksa başka sebepler mi var? Aslında her ikisi de doğru. Renkli fotoğraf teknolojisi 1855’e dayanıyor desek yanlış olmaz. İskoç fizikçi James Clerk Maxwell, Edinburgh Üniversitesi’nde genç bir araştırmacıyken profesör James David Forbes’in renk konusundaki derslerine ilgi duyuyor. Bu derslerde öğrendiği Young-Helmholtz teorisini de kullanan Maxwell bir disk geliştirir. İnsan gözü diğer tüm renkleri ve tonları görülebilir spektrumunun kırmızı (R), yeşil (G) ve mavi (B) renklerin bir karışımından algılıyor. İşte Maxwell diski¹ de topaç gibi bir eksen etrafında dönen, şekilleri tamamen yuvarlak olmayan disklerden oluşan bir sistemdi. Böylece disklerin ne ölçüde karıştığında renklerin kromatiğinin nasıl değiştiğini inceledi. Bugün hâlâ kullanılan bu sistemle ekranlarımızda gördüğümüz resimler bu üç rengin birleşimi olarak ifade edilir. Maxwell 1855’ten itibaren yaptığı renk deneyleri hakkında bir dizi makale yayımladı. Renklerin algılanması ve renk körlüğüyle ilgili bir makalesi de var. Bu makalesinde, sınıfta deney yaptığı sırada, renk körlüğü olan bir öğrencinin oluşan rengi farklı algıladığı için korktuğundan bahsediyor. 

Tabii, modern renkli filmler 1930’larda geliştirildi. O zaman, sadece Leica ve Contax kameralarda kullanılan bu filmler Almanya Wolfen’deki Agfa AG fabrikasında özellikle 1932’den itibaren geliştirilmeye başlandı. “Agfacolor-Neu” filmi ilk kez 1936’da duyuruldu ve Berlin Olimpiyatlarında kullanıldı. Agfa’nın ABD’li rakibi Eastman Kodak da aslında 1935’de ilk kez “Kodachrome” filmini üretmişti, ancak onun ilk kullandığı teknik çok daha karmaşıktı. Fotoğraf severler, muhtemelen Kodachrome ismini Steve MyCurry’nin 1985 yılında Pakistan’da çektiği ünlü Afgan Kızı fotoğrafından hatırlayacaktır.

Tüm bu teknolojik gelişmelere rağmen, renkli filmler 1970’lere kadar ne fotoğrafta ne de sinemada yaygın kullanıldı. 2023 yılında hâlâ sadece siyah beyaz fotoğraf çeken fotoğraf sanatçıları var. Hatta Leica 2012’de sadece siyah beyaz çeken bir dijital kamera bile çıkardı: Leica M Monochrom. Hâliyle, insan sormadan duramıyor: Neden? Kuşkusuz on yıllarca renkli filmden uzak durulmasını, o zaman kullanılan kimyasal süreçlerin ve renklerin pek de gerçekçi ve istenen kalitede olmamasına (düşük hızın, netlik ve alan derinliğini etkilemesi) bağlayabiliriz. Magnum’un ve hatta sokak fotoğrafçılığının kurucularından duayen isim Henri Cartier-Bresson’a göre fotoğrafın asıl hikâyesi beklenmedik bir anı, beklenmedik ya da görülmedik bir şekilde bir kompozisyon içinde ifade etmekti. Kendi deyimiyle decisive moments. Siyah beyaz çalışmak, renklerden soyutlanıp kompozisyona, ışığa ve fotoğrafın asli unsurlarına yoğunlaşma imkânı veriyor. Siyah beyazda kalmış sadece Bresson değil. Öyle efsane isimler var ki: Ansel Adams, Robert Capa, Fan Ho ve diğerleri. Belki de empresyonist ressam Pierre-Auguste Renoir ile aynı noktadan bakıyorlardı dünyaya: “Kırk yıldır tüm renklerin kraliçesinin siyah olduğunu keşfediyorum.”

Sanatsal tercihlerden konunun teknik kısmına doğru ilerleyecek olursak, elimizde siyah beyaz çok sayıda fotoğrafladığımız belki yarım asırlık bir tarih var ve sorumuz şu: Belli bir zaman diliminde çekilmiş eski fotoğraflarda olmayan [eksik olan] renkleri geri getirmek mümkün mü?

Siyah Beyaz Fotoğraftan Renklere

Sosyal medyada, bir haber ya da makalede hatta kitapta renklendirilmiş fotoğraflar görmüşsünüzdür. Bu fotoğraflar, çoğunlukla resim, moda tasarımı gibi renkler hakkında bilgi ye uygulama gerektiren alanlarda çalışan “renklendirme uzmanları” tarafından yapılıyor. Böyle fotoğraflarla ben de uzun süredir karşılaşıyordum; ancak merak edip biraz araştırmam Jordan Lloyd’un çalışmalarını görmemle başladı. Wolfgang Wild ve Jordan Lloyd’un History as They Saw It: Iconic Moments From the Past in Color isimli kitabı², Jordan Lloyd’un renklendirdiği tarihi önemi olan 120 fotoğraf ve bu fotoğraflar hakkında küçük bilgi notlarından oluşuyor. Dorothea Lange’ın ünlü Göçmen Anne fotoğrafından 1936 yılında kalabalıklar arasında Nazi selamı vermeyi reddeden August Landmesser’e, farklı savaş fotoğraflarından portrelere ilgi çekici fotoğraflardan oluşuyor. İlgilenenler Lloyd’un renklendirdiği fotoğrafları içeren Colours Of London: A History isimli kitabını ya da kişisel sitesini inceleyebilir.

Fotoğrafları renklendirmek zahmetli, zaman ve araştırma isteyen bir süreç. Renklendirme sanatçıları, fotoğrafların yüksek çözünürlükte dijital kopyaları üzerindeki çizikleri temizleyerek başlıyor. Ardından restorasyon sürecinde, farklı renklere sahip olduğu düşünülen objeler, kıyafetler, yüzler ve benzeri parçalar katmanlara ayrılıyor. Belki, fotoğrafta bir saat ya da mobilya var ve onları bir müzede görerek gerçek renk tonlarından emin olmak mümkün. Bu kısmı biraz tarihçilik, sanki arşiv araştırması gibi. Ardından tüm bu bilgi farklı katmanlarda işleniyor ve fotoğrafın çekildiği düşünülen zaman ve ışık şartlarına göre birleştiriliyor. Şimdi renklendirme sürecinde yapa zekânın da kullanıldığı çok yeni bir örneği yakından inceleyelim ve Viyana’ya gidelim.

Renklendirmede Yapay Zekânın Kullanımı: Gustav Klimt’in Fakülte Tabloları

Viyana Üniversitesi 1893’te ünlü Avusturyalı ressam Gustav Klimt’e hukuk, tıp ve felsefe fakültelerini temsil eden üç tablo sipariş verdi.³ Klimt tabloları yapıp da sergi zamanı gelince kıyamet koptu. Tablolardaki yaşlı bedenler ve çıplaklık “rahatsız edici” bulundu. Fakülte tabloları siyasi bir tartışmaya dönüştü. Bu durumu kabullenemeyen Klimt aldığı parayı iade ederek tablolarını geri aldı. Ne yazık ki, 1945’te II. Dünya Savaşı’nın son günlerinde geri çekilen Alman ordusu tarafından çıkarılan bir yangında Klimt’in fakülte tabloları da yok oldu. Bu üç tablodan geriye sadece siyah beyaz fotoğrafları kaldı ve renklendirme hikâyesi de burada başlıyor.

2021’de Viyana’daki Belvedere Müzesi ve Google Arts & Culture işbirliğiyle bir proje başlatıldı.⁴ Belvedere Müzesi’nin küratörü Dr. Franz Smola, Klimt’in diğer resimlerinden ve tarihi bilgilerden yola çıkarak renkleri belirledi. Mühendis ve makine öğrenmesi [machine learning] uzmanı Emil Wallner ise Paris’teki Google Arts & Culture’ın residence programı kapsamında, binlerce siyah beyaz resmi renkli hâle dönüştüren derin öğrenme [deep learning] deneylerini yaptı. Yukarıda, fakülte tablolarının siyah beyaz fotoğraftan renkli hale geçtiği hareketli resimleri görüyorsunuz. İsterseniz şimdi biraz bu renklendirmenin yapay zekâ kısmına değinelim.

Ana renkler dışındaki tüm renklerin kırmızı (R), yeşil (G) ve mavi (B) karışımından oluştuğundan bahsetmiştik. Renkli bir resim piksellerden oluşur ve her bir pikselin 0 ile 255 arasındaki bir değere sahip üç sayısal değeri vardır. Siyah beyazda ise piksel tek bir sayıyla ifade edilir: 0 en koyu siyah, 255 beyaz ve aradaki tonlar. Siyah beyaz bir resmi renklendirmek demek, aslında elimizde olanın üç katı bilgi demek. Bugün hep yapay zekâ diye duyduğumuz alanın bir alt dalı da makine öğrenmesi. İşte, renklendirme problemini bir makine öğrenmesi yöntemi olan derin öğrenmeyle çözüyoruz. Öğrenme dediğimiz şey ise bir eğitim setinde (örneğin belli bir sayıda resim) daha önceden bildiğimiz etiketleri tanımak. Bu da bir hedef belirleyip geri yayılım algoritmasıyla her adımda hata değerini küçültmeye çalışarak gerçekleştiriliyor. En nihayetinde ilgilendiğimiz şey, eğittiğimiz modelin farklı test örneklerinde o etiketleri tahmin ediyor olması. Tekrar Klimt’e dönecek olursak, eğitim setimiz elimizde siyah beyaz ve renkli hâli olan (ki zaten renkli hâli varsa onu kolaylıkla siyah beyaz yapabiliriz) binlerce, hatta yüz bin ya da milyonlarca resim.

Siyah beyaz resimleri renkli yapmak, aslında derin öğrenmede “görüntüden görüntüye çeviri” adı verilen bir problem. Bu projede de başlangıç noktası “pix2pix”⁵ adındaki yöntem olmuş. Bu yöntem (ve sonrasında gelenler) neleri çevirmiyor ki? Haritaları uydu resmine, eskiz hâlindeki bir çanta ya da ayakkabıyı resme ya da kış resmini yaza... Yine benzer bir makalede uygulanan bir başka yöntemle de çeviriyi, kullanıcıya belli noktalardaki renk tercihini sorarak, biraz daha makul noktaya getiriyor.⁶ Ama hâlâ derin öğrenme algoritmaları, her bir adımda belli bir büyüklükteki patchleri aldığı için bizlerin baktığı gibi bütüncül bakamıyor. Bu noktada, Google için çalışan bir başka mühendis ve tasarımcı olan Romain Cazier, kullanıcıya algoritmanın ürettiği ilk renklendirmeyi değiştirme imkânı veren bir arayüz tasarlıyor. Sonrası alan bilgisi: Dr. Smola renk konusundaki uzmanlığını ve tarihi bilgisini kullanarak renklendirilmiş resimleri daha da iyileştiriyor.

Burada, isterseniz Klimt’in fakülte tablolarına küçük bir ara verip bu derin öğrenme yöntemlerinin nasıl çalıştığını görmek için şekle kısaca göz atalım. Elimizde renkli hâli de bulunan bir resmi siyah beyaz hâle getiriyoruz. İçinde milyonlarca parametre olan ve yüz binlerce, hatta milyonlarca resim üzerinde eğitmek istediğimiz iki ağ var: Birisi üretici (generator, G), diğeri ayırıcı (discriminator, D). Üretici, verilen siyah beyaz resimleri olabildiğince gerçekçi bir şekilde renklendirmeye çalışıyor. Ayırıcı ise verilen siyah beyaz ve renkli resim ikililerinin gerçek mi yoksa sahte mi olduğunu anlamaya çalışıyor. Bu iki ağ birbirini yenmeye çalışıyor, daha teknik bir ifadeyle bir kayıp fonksiyonuna göre hata değerini azaltmaya çalışıyor. En nihayetinde, daha gerçekçi olan renkli resimler görüyoruz. Günümüzde farklı yöntemlerle çalışan daha iyi performans gösteren üretici derin öğrenme yöntemleri olsa da kısaca açıkladığımız “pix2pix”, siyah beyaz resimleri renklendirmede [artistic style transfer] kullanılan derin öğrenmeye dayalı ilk yöntemlerden biri.

Şimdi tekrar, tarihi fotoğrafların renklendirilmesine, Klimt’in fakülte tablolarına dönelim. Tasarımcılar “Acaba bu yapay zekâ yakında bizim işimizi mi üstlenecek?” diye kaygılanabilir. Acaba, yapay zekâ araştırmacıları olarak bu problemi tamamen algoritmalarla mı çözmek istiyoruz? Klimt projesindeki tecrübesinden hareketle Emil Wallner’e sordum ve cevabı şöyle oldu:

“Birçok profesyonel renk uzmanı, yapay zekâyla üretilmiş çıktıyı temel katman olarak kullanır. Ardından ayrıntıları ve tarihsel doğruluğunu düzeltirler. Ancak, yapay zekânın özellikle doğal cilt tonları ve ışık koşullarını oluşturmada başarılı olduğunu söyleyebilirim.”

Buradan da anlıyoruz ki renklendirme sadece algoritmalarla yapılacak bir iş değil. Bu teknoloji, tasarımcı ve renk uzmanlarına yardım etmek için; insan ise her zaman işin içinde. Bu arada Emil daha da geliştirdiği renklendirme modelini çevrimiçi bir araç hâline de getirmiş. Palette adındaki bu aracı ben de kendi çektiğim birkaç siyah beyaz fotoğraf üzerinde test ettim. Farklı stil ve renk tonlarında ayarlamak ve hatta yazıyla resimde olan şeyleri istediğimiz sıfatlarla tanımlayarak düzenlemek mümkün. Siz de deneyip test edebilirsiniz.

Yukarıda kendi çektiğim birkaç analog fotoğrafı görüyorsunuz. İlkinde New York City’deki paskalya geçidinden iki fotoğraf seçtim. Kıyafetler ve renkler gerçekten beklenmedik ve tahmin etmesi zor olduğu için, hâlihazırda renkli fotoğrafları siyah beyaz hâle getirip renklendirmenin nasıl sonuç verdiğini denemek istedim. İnsan yüzleri ve ten renkleri gayet başarılı. Hatta daha alışılmış renkteki kıyafetler de öyle. Ancak yapay çiçekler ve renkli kostümler pek orijinalinde olduğu gibi değil. Bunun en öncelikli sebebi, kullanılan derin öğrenme yöntemleri; belli bir eğitim setinde eğitildiğinden (muhtemelen daha sıradan, tek düze renklerden olsa gerek) test resimlerinde gördüğümüz şey de o örneklere benzerlik gösteriyor. Bir tür önyargı söz konusu. İkinci resim ise tahmin etmesi daha kolay bir doğa fotoğrafı ile onun siyah beyaz olan aslı. Bu fotoğrafta denediğim iki farklı yöntem de iyi sonuç verdi.

Bu yazıda, eksikleri tamamlamaya renkleri geri getirerek başladık. Meğerse renklendirme hiç de uzaktan göründüğü gibi kolay bir problem değilmiş. Hele tamamen algoritmalara bırakılacak bir iş hiç değil. Ancak, bu vesileyle, insan-yapay zekâ etkileşiminin güzel bir örneğini incelemiş olduk.

1. Disks from James Clerk Maxwell's colour top, National Museums Scotland.

2. Jordan Lloyd ve Wolfgang Wild, History as They Saw It: Iconic Moments From the Past in Color (Chronicle Books, 2018).

3. 1894–1905: Faculty Paintings Scandal, Gustav Klimt Foundation.

4. The Klimt Color Enigma, Colorizing Klimt’s Vanished Paintings with Artificial Intelligence and Klimt Experts, Google Arts and Culture.

5. Phillip Isola, vd. “Image-to-Image Translation with Conditional Adversarial Networks”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.

6. Richard Zhang, vd. “Real-time User-Guided Image Colorization with Learned Deep Priors”, ACM Transactions on Graphics, 36.4 (2017): 119.

fotoğraf, Ömer Sümer, renk, teknoloji, yapay zekâ