Yapay Zeka Haklı Çıkmanız İçin Yalan Bile Söylüyor

Allan Brooks, bir yapay zeka sohbet botuyla yaptığı konuşmalar sırasında önemli bir matematiksel keşfe imza attığını inanmaya başladı. MIT ve Washington Üniversitesi’nden araştırmacıların çalışmalarının girişinde değindikleri bu olay, sohbet botlarının kullanıcıların yanlış inançlarını nasıl pekiştirebildiği sorusunu gündeme getiriyor.

Bir düşüncenizi anlatıyor ve destekleyici bir cevap aldığınızda konuşmaya devam etmek istersiniz çünkü yapay zeka modelleri düşüncelerinizi bir araya getiriyor, gerekçeleri sıralıyor ve itiraz etseniz bile hızlıca cevap veriyor. Birkaç mesaj sonra model daha uzun ve detaylı yanıtlar verebiliyor. Ancak yanıtın uzaması, onu doğru cevap olduğu anlamına gelmiyor.

arXiv’de yayımlanan iki araştırma, yapay zeka duyulan güveni farklı boyutlardan inceliyor. Çin Bilimler Akademisi ve diğer kurumlardan araştırmacıların çalışması, dil modellerinin hesaplama kapasitesini ele alıyor. MIT ve Washington Üniversitesi ekibi ise kullanıcıyı onaylama eğiliminin yanlış inançları nasıl güçlendirebildiğini modelliyor.

Çin Bilimler Akademisi ve diğer kurumlardan oluşan ekibin yaptığı çalışmada büyük dil modelleri, ‘olasılıksal Turing makineleri’ olarak tanımlanıyor. Araştırmacılar, modelleri girdilere farklı olasılıklarla çıktılar üreten hesaplanabilir sistemler olarak inceliyor. Diyagonalizasyon, hesaplanamazlık ve kapasite üzerinden her olası soruya doğru cevap verme iddiasının sınırlarını tartışıyorlar. Ancak bu, karşılaşılan her hatanın düzeltilemeyeceği anlamına gelmiyor.

‘Oracle Escape’ olarak adlandırılan yol, doğru yanıtı sağlayan dış bir kaynağa başvurmayı içeriyor. Çalışma bunu modelin yanıt üretirken dış belgelerden yararlanmasını sağlayan RAG (Retrieval-Augmented Generation) yaklaşımıyla ilişkilendiriyor. Yanlış belge getirildiğinde veya doğru içerik yanlış yorumlandığında hata ihtimali sürüyor. Ancak teorik ‘oracle’, kusursuz yanıt sağlayan bir kaynak olarak varsayılırken gerçek bir RAG sistemi böyle bir garanti sunmuyor.

Kullanıcı, yanıtın hangi kaynaklara dayandığını, bu kaynakların nasıl değerlendirildiğini ve hangi belirsizliklerin kaldığını her zaman göremiyor. Akıcı ve kendinden emin bir anlatım da hatalı bilgilerin doğruymuş gibi algılanmasını kolaylaştırabiliyor.

MIT ve Washington Üniversitesi ekibinin yaptığı araştırmada ise konu, botun kullanıcıya sürekli hak vermesi. ‘Sycophancy’ olarak adlandırılan bu eğilim, çalışmada matematiksel bir kullanıcı-bot etkileşimiyle inceleniyor. Araştırmacılar her koşul için 10 bin konuşma, konuşma başına 100 tur simüle ederken yanlış bir inanca en az yüzde 99 güvene ulaşılmasını bir ölçüt olarak kullanıyorlar.

Sonuca gelindiğinde ise görünen o ki bot yalnızca gerçek bilgiler sunsa bile yanlış inancı güçlendirebiliyor. Modeller, mevcut bilgileri es geçerek kullanıcının düşüncesini destekleyenleri öne çekebiliyor ve bunları cevap niteliğinde sunabiliyor. Tabii ki çalışmalar, ChatGPT, Gemini gibi sohbet botlarının insanları yanıltmak için tasarlandığı veya alınabilecek önlemlerin işe yaramayacağı anlamına gelmiyor.

Nisan ayında hazırladığım bir yazıda da Gemini ile yaptığım konuşmada yanlışlığı gösterdiğimde Gemini şu yanıtı verdi: “Dürüst olmam gerekirse: Hayır, aslında emin değilim. Az önceki yanıtımda seni onaylamak ve konuyu derinleştirmek adına hatalı bir ‘doğrulama’ yaptım ve olmayan bir hikaye kurguladım. Bu bir ‘yapay zeka halüsinasyonu’ydu ve bunun için senden özür dilerim.”

Bir sohbet botundan kaynak istemek iyi bir başlangıç. Ancak bağlantının gerçekten var olup olmadığını ve verilen bilgiyi destekleyip desteklemediğini de kontrol etmek gerekiyor. Çünkü kendinden emin bir yanıt, doğru bir yanıtın garantisi değil.