İnsan kararları çoğu zaman objektif olmaktan uzak. Bildiğimiz ve kabul ettiğimiz, sıkı sıkıya savunduğumuz fikirlerin sorgulanmasını kolay kolay kabul etmiyoruz. Hatta, yeni konularda ön kabullerimizi sarsan bir şeyle karşılaşınca taraflı bakmaya daha eğilimli oluyoruz. Üstüne, çoğu zaman ister sosyal hayatta ister sanal mecralarda, söylediklerimizi alkışlayan ve beğenen kitleler olsun ve biz onların influencer’ı olalım istiyoruz. Bu genellemeler her zaman ve herkes için söz konusu değil tabii ki, ancak insan kararlarının arkasında karmaşık dinamikler ve farklı yanlılıklar söz konusu.

Psikolojide ne olduğu, nasıl oluştuğu, sebepleri ve sonuçları araştırılan konulardan biri de doğrulama yanlılığı [confirmation bias]. Son yıllarda özellikle kullanıcı deneyimi [user experience] araştırmaları doğrulama yanlılığı yaratmayacak değerlendirme süreçleri oluşturmaya ya da bu yanlılığı da göz önünde bulundurmaya başladı. Doğrulama yanlılığının göz önüne alınması gereken alanlara, yapay zekânın (YZ) özellikle human-in-the-loop uygulamaları ve daha genel anlamda, insan-makine etkileşimi de dahil.

En basit ifadesiyle doğrulama yanlılığı, bir konu hakkında mevcut inançlarımız, beklentilerimiz ya da bariz tarafı olduğumuz bir hipotezi destekler nitelikte araştırma yapmak ya da topladığımız kanıtları yanlı olarak değerlendirmek demek¹. Raymond Nickerson’ın 1998 tarihli makalesi doğrulama yanlılığını yakın zamanda ele alan önemli bir kaynak, ancak bu kavram o kadar yeni sayılmaz. Makalede de yer alan, Francis Bacon’dan 1620 tarihli alıntıya göz atmakta fayda var:

“İnsan anlayışı bir kez bir görüşü benimsediğinde (ya kabul edilen görüş olarak ya da kendine uygun olarak) diğer her şeyi onu desteklemeye ve onunla aynı fikirde olmaya çeker. Öte yandan, daha fazla sayıda ve önemde [karşı] örnek bulunsa da bunları ya ihmal eder ve küçümser ya da bazı ayrımlarla bir kenara bırakır, reddeder. Böylelikle, bu büyük ve zararlı kabul daha önceki sonuçların otoritesini bozmaz… Astrolojide, rüyalarda, kehanetlerde, ilahi yargılarda ya da benzerlerinde, tüm batıl inançların yolu budur. Öyle ki, bu tür boş şeylerden zevk alan insanlar, gerçekleşen olayları görürler, ancak çok daha sık olmasına rağmen ön kabulleriyle çelişen örnekleri ihmal eder ve geçip giderler.”

Aslında Bacon’ın bahsettiği “falsız kalamayan” insanlar bir şekilde olumlu örnekleri görüp astrolojiyi de doğru çıkarıyor kendince. Aşı karşıtlarından dış güçler komplocularına kadar objektif bir perspektiften akıl dışı görünen şeyleri inanılır bulan çoğu insan, kendince o görüşü destekleyen kanıtlar topluyor.

Doğrulama Yanlılığının Türleri ve Mücadele Yolları

Doğrulama yanlılığına düştüğümüz durumlardan biri, hipoteze dayalı bilgi arama ve yorumlama. Diğer bir ifadeyle, bir hipotezi doğruymuş varsayarak bir tanıya ya da teşhise gitmek. Bunu koşullu bir olasılık olarak p(D | H) ile ifade etmek de mümkün. İşte biz o doğru olduğunu varsaydığımız hipotezin aksini düşünmeyerek belki de önemli bir olasılığı, yani hipotezin gerçekleşmemiş olması durumunda o teşhisimizin doğruluğunu p(D | ~H) göz ardı etmiş oluyoruz. Bazen de mevcut inancımızı destekleyen kanıtlara öncelik vermek yoluyla doğrulama yanlılığına düşüyoruz.

Elimizdeki hipotezi doğrulayacak ya da aksine zayıflatacak bilgiye sahibiz. Ancak bazen de o bilgiyi öyle bir yorumlarız ki bu bakış yanlış bir hipotezin yanlış olduğunu ispatlamayı engeller. İnanmak istediğimiz örneklere ağırlık vererek ya da görmek istediğimizi arayarak da bir tür illüzyon oluşturmak ve yanlış bir sonuca ulaşmak mümkün.

Birkaç örnek verelim: İlki, insanların genelde uzun süre savundukları, devam eden inançlarını, onları geçersiz kılan kanıtlar olsa bile sürdürmeleri. 1979 yılında Stanford Üniversitesi’nde yapılan bir çalışmada² araştırmacılar iki ayrı gruba, idam cezasını destekleyen ve reddeden eşit derecede kanıtlar sunmuş. Ancak her iki gruptakiler de kendilerine sunulan kanıtların önceki duruşlarını destekleyen tarafını görmüş ve fikirlerini değiştirmemiş.

İnternette önümüze düşen içerikler çoğunlukla beğeneceğimiz türde haberler ve yorumlardan oluşuyor. Hem bilgiye erişimimiz hem de sosyal mecralarda irtibatta olduğumuz arkadaşlarımız genellikle bizim gibi düşünen kişiler oluyor. Bu durum yankı odaları echo chambers ya da bubble effect olarak ifade ediliyor. Oluşmasında kendi tercihlerimiz de etkili, ancak sosyal medya platformlarının içeriği kişiselleştiren algoritmaları da önemli bir pay sahibi. Tabii bu algoritmaların amacı bizim dikkatimizi o platformlarda daha çok tutmak, kullanıcı etkileşimini ve bağlılığını artırmak. Sosyal medya ve bizim dikkatimizi manipüle eden bu filtreleme sistemleri de doğrulama yanlılığına yol açıyor.

Carlos Diaz Ruiz ve Tomas Nilsson tarafından yayımlanan bir makale, fake news ya da dezenformasyonun sosyal medyada yankı odaları aracılığıyla nasıl yayıldığını açıklıyor. Şekilde bunun görsel bir özetini görüyorsunuz. İlk aşamada, kötü niyetli aktörler kaynakları ve niyetlerini gizleyerek stratejik bazı yalanları sosyal medyada dolaşıma sokuyor. Sonra bu içerikler bir perdelemeyle meşru görünmesini sağlayacak şekilde sunuluyor. Örneğin haber kaynaklarında fake news olarak yer alması. Bu, görünürlüğün ilk noktası.

Ruiz ve Nilsson’ın araştırmasında paylaştığı sürecin ikinci adımı, yankı. Yankı, dezenformasyonu var olan tartışmaların ve uzlaşmaz düşmanlıkların, nefretin içine yerleştirmekle başlıyor. İşte burası, dezenformasyonu bir kimlik çatışmasının içine gizlemek ve böylece insanların “biz ve onlar” olarak görmesini, sorgulamamasını sağlamak için. Kimlik ne de olsa uzun bir zamanda inşa ediliyor. Kimse dezenformasyon içeren bir bilgiyi ya da bir hipotezi kimliğine bir saldırı olarak gördüğünde onun fake news olup olmadığını kolay kolay sorgulamıyor. Bu noktadan sonra, döngü sadece yankı odasındaki bilgiyle sürdürülüyor ve ardından tartışmalar var olan kimliği çerçevelemek ve daha da sağlamlaştırmak için kullanılıyor.

Aynı makalede, dezenformasyonun yayılmaması için politika seviyesinde yapılacak önerilere de yer verilmiş. Belki en etkilisi hiç bu sarmala girmeden dezenformasyonun ya da fake news’in ilk üretildiği anda belirlenmesi, yalan haber üreten aktörlerin ve içeriğin işaretlenmesi ve fact-checking kontrol mekanizmalarının işletilmesidir. Diğer bir adım da sosyal medyada içeriklerin yayılmasını sağlayan algoritmaların yeniden düzenlenmesi.

Fact-checking, ne kadar önemli olursa olsun, bir noktada tartışmayı besleyen, muhalif bir eylem olarak dekonstrüksiyona uğrayabilir. Eleştiri otoriter figürlerden değil, grup içinde güvenilir aktörlerden [ethos] gelmelidir. Bilgiyi çerçeveleyen epistemolojiyi tanımlayıp grubun iç kurallarıyla uyumlu [logos] karşı anlatılar geliştirmek başka bir önemli nokta. En üst seviyedeyse kullanıcılar ve yankı odası içindekilere itibarlarını ve kimliklerini koruyarak bir çıkış stratejisi sunmak ve sosyal medya platformlarının yankı odalarının varlığından finansal çıkar elde etmesini sağlayan kaynakları kesmek tavsiye edilmiş.

Doğrulama yanlılığına düşmemek için, yankı odaları örneğindeki gibi kendimizi kimlik çerçevesine hapsetmeden, doğruluğunu araştırdığımız bir hipotezin olası tüm koşullarına eşit şans vermeli ve tüm bu koşullarda elde ettiğimiz sonuçları tüm güvenilir tarafları dinleyerek değerlendirmeliyiz. Sosyal medyada yayılan bir haberi bilgi kaynağı olarak kullanıyorsak mutlaka temel medya okuryazarlığı edinmeliyiz. İçerik ve söylem analizi yapabilmek, 5N1K sorularını sorabilmek, bilgi kaynaklarının kimliğini, güvenilirliğini ve etik ilkelere bağlılığını değerlendirmek de önemli. İşin içinde sosyal medya da varsa, teyit.org gibi fact-checking kaynaklarını da kullanmak yalan haberin bilgi kaynaklarımız içine sızmasını engeller. Şüpheci olmak ve aynı bilgiyi bağımsız ve farklı ön kabuller ve inançlara sahip güvenilir aktörlerden teyit etmeye çalışmak, filtrelediğimiz bilgiyi daha güvenilir yapacaktır.

Yanlılığın Bir Başka Türü, Çapalama Etkisi: Makine Çevirisi Örneği

Bazı YZ uygulamaları, kullanıldıkları alanda işleri tamamen insandan bağımsız yapmak için geliştiriliyor. Ancak, daha fazlası, bu sistemlerinin çıktılarının kullanıcıya sunulması ve karşılıklı insan-makine etkileşimine dayanıyor. Acaba bir radyoloji ya da patoloji uzmanına veri üzerinde YZ modellerinin analizini sunmak bu uzmanların teknolojiye aşırı güvenmesine ve doğrulama yanlılığına yol açabilir mi? Benzer şekilde, bir çevirmen makine çevirisi araçlarını kullanarak daha hızlı ve daha kaliteli metinler mi üretir, yoksa bir yanlılığına mı kapılır? Buna benzer onlarca örnek verilebilir, ancak ben teknolojik araçlarla ilişkimizi makine çevirisi özelinde ele alacağım.

Yakın zaman önce Çevirmenler Meslek Birliği (ÇEVBİR) tarafından çeviri bir metin yayımlandı⁴. Bu metin, Fransa’da kitap çevirmenlerini temsil eden iki örgüt olan Kitap Çevirisini Destekleme Derneği (ATLAS) ve Fransa Kitap Çevirmenleri Birliği’nin (ATLF) Mart 2023’te çeviri alanında otomasyona karşı yayımladığı bir bildiri. Tüm yönleriyle okunmayı hak eden metnin sadece yanlılıkla ilgili küçük bir kısmına göz atalım:

“Viyana Üniversitesi çeviri bölümünde araştırmacı olan Waltraud Kolb, Kitap Çevirisi Toplantıları’nda, Hemingway’in bir öyküsünü (A Very Short Story) çevirmeleri istenen on çevirmenle yürütülen bir çalışmanın sonuçlarını sundu. Çevirmenlerin beşi metni sadece İngilizce orijinalinden, diğer beşi ise hem orijinalden hem de bir makine ön-çevirisinden faydalanarak Almancaya çevirmişti. Görünürde çok basit olan bir cümle hemen dikkati çekiyordu: ‘Luz sat on the bed.’ Cümleyi nasıl okuduğunuza bağlı olarak eylem (oturmak) tamamlanmış da olabilir, tamamlanmamış da. Luz tam o anda oturmuş olabileceği gibi, zaten oturuyor da olabilir. İlk gruptaki çevirmenlerin yorumları hâliyle farklılık gösterirken diğer beşinin tamamı makinenin çözümünü benimsemişti. İşte buna ‘saplanma kaynaklı çarpıklık’ [le biais d’ancrage] diyoruz.

Şimdi, bu ‘saplanma kaynaklı çarpıklığın’ olası bir hedef-metnin niteliği üzerindeki aşikâr tesirlerini bir hayal edin: Yapısal olarak nasıl yavanlaşmış, nasıl standartlaşmış olduğunu…”

Burada bahsedilen saplanma kaynaklı çarpıklık, çapalama etkisi [anchoring effect] olarak da biliniyor. Yazının önceki bölümünde ele aldığım doğrulama yanlılığına benziyor, ancak temel farkı şu: Çapalamada, bir konuyla ilgili edindiğimiz ilk bilgiye ne kadar alakalı ya da güvenilir olduğuna bakmaksızın güvenmek söz konusu. Doğrulama yanlılığındaki gibi uzun zaman içinde oluşmuş bir inanç ya da ön kabulün etkisi söz konusu değil.

Fransız meslek örgütlerinin bildirisi, ÇEVBİR tarafından da Türkçeye çevrilmiş. Meslek birlikleri tarafından kendi mesleklerini ilgilendiren teknolojik bir aracın, yani makine çevirisi kullanımının (örneğin; DeepL, Google Translate ya da ChatGPT) incelenmesi çok değerli. Burada, çevirmen olmadığım için konuya pek aşina olmayan biri olarak ilk edindiğim bilgiye “saplanmayıp” konuyu biraz daha ayrıntılı inceleyeceğim.

YZ temelli makine çevirisi araçları ve daha önce ele aldığım büyük dil modelleri derin öğrenme ile büyük veri setleri üzerinde eğitiliyor. Çeviri için aynı metnin farklı dillerde bire bir çevirileri kadar, paralel olmayan metinlerin de eğitim setinde kullanılması söz konusu. Bir kütüphanede bulunan Türkçe ve Almanca kitaplar –farklı metinler içerse dahi– kullanılarak gözetimsiz öğrenme yöntemleri yoluyla makine çevirisi modelleri eğitilebilir. Bunu şöyle düşünebiliriz: bir kütüphanede Türkçe ve Almanca farklı kitaplar olsun. Almanca bilmeyen bir çevirmen, metinler farklı olduğu için bu iki dildeki kitaplara bakarak Türkçeden Almancaya çeviri yapmayı öğrenemez. Ancak gözetimsiz öğrenme yöntemlerini kullanan YZ, böyle bir kütüphaneden dahi faydalanabilir. Bu araçların performansı son yıllarda çok gelişti. Görece kaliteli çeviriler yapabiliyor olsalar da çevirmenler arasında bunun bir “çeviri” değil, “makine çıktısı” olarak adlandırılması gerektiği görüşü de var. Makine çevirisi araçlarının yoğun kullanımının bu meslek erbabına bir baskı getireceği ve çalışma koşullarını daha da kötüleştireceği yorumlarına katılıyorum.

Bildiride de bahsedilen çalışma sistemi şöyle: Çevirmenler, makine çevirisi araçlarını kullanarak bir “ön-çeviri”den başlar ve kelimeler ya da cümle yapısında, hatta üslupta kendi katkısını koyar ve düzeltmelerini yapar. Bu ikinci aşama “post-editing” olarak adlandırılıyor. Bu noktada bence konunun iki boyutu var: İlki, makine çıktısı olan ön-çeviriyi kullanmak gerçekten çeviri sürecini hızlandırır mı? Diğer boyutu ise, makine çıktısını kullanmak, bir “zanaat, maharet, yaratıcı bir edim, insani bir deneyim” olan çevirinin kalitesini artırır ya da azaltır mı?

Makine Çevirisinin Kalitesi ve Post-Editing Performansı

Zouhar ve arkadaşları tarafından 2021 yılında yayımlanan bir çalışmada⁵, İngilizceden Çekçeye makine çevirisinin kalitesiyle otuz profesyonel çevirmen tarafından yapılan post-editing’in süresi ve kalitesinin ilişkisi incelenmiş. Sekiz farklı paralel İngilizce-Çekçe metinden, her satırda ortalama 25 kelimenin olduğu 99 satır seçilmiş. Bu metin, iyi performans gösteren 13 farklı makine çevirisi modeli ile Google ve Microsoft’un makine çevirisi modelleriyle çevrilmiş. Bu 15 farklı makine çıktısı için, makine çevirisinde kullanılan popüler iki metrik, BLEU (Bi-Lingual Evaluation Understudy) ve TER (Translation Error Rate) referans alınarak karşılaştırılmış. Tüm metnin her bir parçası, kaynak metin (İngilizce) ve farklı bir makine çevirisi modeli kullanılarak elde edilen referans çevirinden (Çekçe) oluşan ikililer olarak düzenlenmiş ve 15 farklı çevirmene sunulmuş. Post-editing aşamasında çevirmenler ilk düzeltmeleri yapıyor. Ardından revizyon aşamasında, farklı çevirmenler kaynak metin, makine çıktısı ve post-editing çıktısını alıyor ve çevirmenin kişisel tercihlerinden ziyade çeviri hataları, eksiklikler, dilbilgisi ya da yazım hataları düzeltiliyor. Burada, makine çevirisi yönteminin performansını da değerlendirebilmek için çevirmenler hem kaynak metni hem makine çıktısını hem de post-editing yapılmış çıktıları görüyor. Hatalar da doğruluk, akıcılık ve diğer kategorilerde dört farklı skalada değerlendirilerek yorumlanıyor.

Doldurdukları ankette çevirmenlerin önemli bir kısmının, makine çevirisinin çeviri süreçlerini hızlandırdığını düşündüğü ve post-editing yapmayı doğrudan insan çevirisi yapmaya tercih ettikleri görülüyor. Ayrıca, çeviri belleği [translation memory] kullanmayı makine çevirisine tercih ediyorlar. Çeviri belleği, çevirmenlerin çalıştıkları metinde çok tekrar eden başlıklar, cümle parçacıkları ya da cümleleri çift dilde depolayan bir veritabanı. Bu sistemler bir eşleşme yüzdesi veriyor. Çevirmen bu önerileri kabul edebilir ya da reddedebilir. Çok tekrarlı metinlerde, çeviri belleği hem çevirisi sürecini hızlandırır hem de metnin kendi içinde tutarlı olmasını sağlar.

Bu çalışmanın sonuçları arasında en ilgi çekici olanı, makine çevirisinin kalitesi ile post-editing süresi ve kalitesi arasındaki ilişkinin sanıldığından daha zayıf olması ve doğrudan olmayışı. BLEU gibi doğal dil işlemede kullanılan metriklerdeki küçük iyileştirmeler her zaman post-editing aşamasında çevirmene ciddi bir fayda sağlamayabilir. Ayrıca, bu çalışmada yapılanın ötesinde çevirmenin yaratıcı maharetini göstereceği edebi metinler üzerinde acaba makine çevirisi ve post-editing süreci dilin daha tekdüze ve yavan olmasına mı yol açıyor, yoksa çevirmen üzerinde (çeviri kalitesinde) olumsuz bir etkisi yok mu? Şüphesiz, “çok az sayıda katılımcı çevirmen içeriyor olsa da” bir kongre sunumu olan Waltraud Kolb’un çalışması ve meslek birliklerinin görüşleri çok önemli. Benim kanaatim, böyle bir soruyu objektif ve bilimsel yöntemlerle cevaplamak için daha fazla kullanıcıyla, özellikle edebi metinlerde geniş kapsamlı bir kullanıcı çalışmasına ihtiyaç olduğu yönünde.

Teknolojik Araçlarla Etkileşimimiz

Her ne kadar basında ve günlük hayatta YZ sistemlerinin etkileyici başarılarını görsek de bizim bu araçlarla etkileşimimiz ve onları kullandığımız işlerdeki yanlılığımız da söz konusu. Algoritmalar ve eğitildikleri veri setlerinden kaynaklanan yanlılığa hiç değinmiyorum, çünkü YZ güvenilirliği başlı başına ayrı bir konu. İnsan olarak kendi karar mekanizmalarımızın da taraflı olduğunu unutmamalı ve bu araçların çıktısını da kullanım amacımıza göre daha objektif değerlendirmeli ve düzenlemeliyiz.

Makine çevirisinin, çevirmenin işini kolaylaştıran, faydalı bir teknoloji olduğunu düşünürdük. Ele aldığımız bildiri ve makaleden hareketle, bu kabulümüzün dahi ne denli karmaşık ve muğlak olduğunu gördük. Net bir şekilde makine ön-çevirisinin çevirmenin işini hızlandırdığını dahi söyleyemeyiz. Uzun süredir devam eden inanç ve ön kabullerimiz doğrulama yanlılığına sebep olabilir, hatta yankı odaları gibi tüm kaynaklarımızın ve bağlantılarımızın tek taraflı olduğu çevrimlerde bu yanlılık, içinden çıkılması zor bir döngü hâlini alabilir. Makine ön-çevirisi örneğinde olduğu gibi, çapalama etkisi kararlarımızda pek de güvenilir olmayan YZ sistemlerine gereğinden fazla ağırlık vermemize sebep olabilir. Sonuç olarak hem kendi kararlarımızı hem de teknolojik araçlarla etkileşimimizi olabildiğince objektif değerlendirmeliyiz. Sosyal medya kullanımı ve makine ön-çevirisinin ötesinde, farklı yanlılık türlerinin bilincinde olmakta fayda var.

{fold içindeki görsel, grafik tasarımcı Soner Aktaş tarafından Mayıs 2023’te Frankfurter Allgemeine Zeitung (FAZ) gazetesi için hazırlanmıştır; kullanım izni için kendisine teşekkür ederiz. Sanatçının farklı konularda ürettiği illüstrasyon ve animasyon çalışmalarına instagram hesabından ulaşabilirsiniz.}

1. Raymond S. Nickerson, “Confirmation bias: A ubiquitous phenomenon in many guises”, Review of general psychology 2, no. 2 (1998): 175-220.

2. Charles G. Lord, Ross Lee ve Mark R. Lepper. “Biased assimilation and attitude polarization: The effects of prior theories on subsequently considered evidence”, Journal of personality and social psychology 37, no. 11 (1979): 2098.

3. Carlos Diaz Ruiz ve Tomas Nilsson. “Disinformation and echo chambers: how disinformation circulates on social media through identity-driven controversies”, Journal of Public Policy & Marketing 42, no. 1 (2023): 18-35.

4. Yapay Zekâ ve Kitap Çevirisi: Çevirmenler Şeffaflık İstiyor/ATLAS ve ATLF. Bildiriyi Fransızca aslından Aslı Sümer, Devrim Çetinkasap, Nihan Özyıldırım ve Savaş Kılıç çevirdi. Savaş Kılıç, çeviriyi özgün metinle karşılaştırdı. Elçin Gen, Elif Okan Gezmiş ve Menekşe Arık, Türkçesi üzerinden son okuma yaptılar. Mart 2023 tarihli özgün metin için bkz. ATLAS.

5. Vilém Zouhar, Aleš Tamchyna, Martin Popel ve Ondřej Bojar, “Neural Machine Translation Quality and Post-Editing Performance”, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing içinde, ss. 10204-10214.

büyük dil modelleri, çapalama etkisi, çeviri, doğrulama yanlılığı, Ömer Sümer, yapay zekâ