Kelimelerden Öğrenen Dünya Modeline

2017 yılında, UNESCO’da çalıştığım yıllarda, bir dijital beceri projesi için araştırma yapmam gerekti. Literatürü gözden geçirirken, Doug Lenat ile 2016 yılında yapılmış bir WIRED söyleşisi karşıma çıktı. Makaleyi çok net hatırlıyorum çünkü Lenat’ın söylemleri bana çok açıklayıcı gelmişti. Özetle, “AI’ın amacı sağduyu olmalı, başka hiçbir şey insan zekası ile kıyaslanamaz” diyordu. 

Lenat ayrıca sağduyuyu bir algoritmada üretebilmek için yapay zekanın ‘dünya hakkında çok bilgi edinmesi ve nasıl çalıştığını bilmesi, muhakeme yapabilmesi ve belirli konularda ilave bilgi tabanı olması gerekiyor’ tezinden yola çıkıyordu.

Daha da ilginci, ekibiyle yıllarca çalışarak dünya hakkında milyonlarca bilgi topladı ve bunları bir çıkarsama motoru ile eşleştirip, muhakeme yapılabilir hale getirdi. Proje ve şirkete CYC adını verdi ama şimdilerde kimse ne onu ne de şirketini hatırlıyor. Çünkü 2013 yılında Stanford profesörü Fei Fei Li’nin Imagenet yarışmasında, Geoffrey Hinton ve ekibinin Makine Ögrenme yaklaşımı çok başarılı olunca, diğer bütün seçenekler ve tabii Lenat’ın Makine Muhakemesi vurgusu, kenara itildi. Metin temelli Makine Öğrenimi ise bizi bugünkü metin tabanlı komutlara (LLM) getirdi.

Şu sıralar yapay zeka sektöründe en çok tartışılan konu olan LLM’ler; bizi bilgisayarların insanlardan daha zeki olacağı bir yapay genel zeka noktasına götürür mü, götürmez mi? Götürür diyenler, ‘Bize birkaç bin veri merkezi ve birkaç trilyon eğitim verisi verin, bunu kesin yaparız’ diyorlar. Bir diğer grup ise ‘LLM’ler çıkmaz sokak, bize ilave veri merkezleri gerektirmeyen ve patlaması olası bir AI kabarcığı getirmeyecek yeni bir yaklaşım gerekiyor’ görüşünü savunuyor. 

Belki iki yıl önce bu tartışma çok ilgi çekmezdi ama AI ajanlarının yerini aldıkları mühendislerden daha pahalı olup, aynı işi daha iyi yapamadıkları bir ortamda, farklı yaklaşımlar önem kazanmaya başladı. Bunların arasında başarı olasılığı en yüksek olanı Dünya Modelleri yaklaşımı.  

Birkaç ay önce eski Meta AI şefi Yann LeCun, Le World Model başlıklı bir makale yayınladı ve JEPA platformunu geliştirmek için Advanced Mechanical Intelligence (AMI) Labs isimli bir yapı kurduğundan söz etti. Aynı şekilde AI öncülerinden Fei Fei Li de World Labs diye bir Ar-Ge şirketi kurdu ve Marble isimli bir uygulama üzerinde çalışmaya başladı. Google bünyesinde olduğu için altını pek çizemese de DeepMind CEO’su Demis Hassabis’in de Genie-3 isimli benzer bir dünya modeli projesi var.

Bu girişimlerin ortak yanı, ‘LLM’ler ile uzağa gidemeyiz’ öngörüsü. Başlangıç noktalarını en basit şöyle ifade edebiliriz: Yazılı bir kullanma kılavuzuna bakarak bisiklete binmeyi veya yüzmeyi öğrenebilir misiniz? Öğrenemezsiniz çünkü yazılı bilginin 3 boyutlu dünyayı temsil etme yeteneği sınırlıdır. Aklınızdaki bisiklete binme veya yüzme kavramlarını ancak dünya ile etkileşim sürecinde bir beceriye dönüştürebilirsiniz. Düşünmeden kullandığımız ve zihinsel modeller oluşturarak dünyayı anlamak gibi bir alışkanlığımız var. 

Dünya Modeli, 1943 yılında İskoç psikolog Kenneth Craik’in, insanların dünyayı nasıl anladıklarını açıklamak için bilgi dağarcığımıza kattığı bir kavram. Craik’e göre, dünyayı anlamak ve neyin neden oluştuğunu açıklamak için gözlemlediğimiz olgularla ilgili beynimizde küçük modeller kurarız. Bu modeller olguları basitleştirir, ilişkileri netleştirir ve neden-sonuç bağlarını belirgin hale getirir. 

Dünya Modeli kavramını psikolojiden çıkarıp AI alanına aktaran ilk araştırmacılardan biri olan Jürgen Schimdhuber’in tezi bunun bir uzantısı: AI içinde bulunduğu dünyanın nasıl çalıştığını belirleyen bir yöntemle eğitilmezse o mekanda ‘zekice’ hareket etmesi beklenemez. 

Bunu biraz açalım. Biz insanlar dünyanın içinde var olduğumuz ve bunun nasıl çalıştığını iyi bildiğimiz için Dünya Modeli beynimizin ürettiği bir çıkarsama. Ama bir robot veya algoritma için iki dünya modeli söz konusu. Biri gerçek dünyayı ve kurallarını canlandıran sanal sistem. Diğeri, Craik’in önerdiği yaklaşıma dayanan ve AI’nın gözlemlerinden türettiği sorun-çözüm temelli bir dünya modeli. 

Diyelim ki, robotunuz veya ajan AI algoritmanıza bir görev verdiniz. Önce sanal dünya modeli ile etkileşime girecek ve oradaki bilgileri kullanarak bir Craik dünya modeli oluşturacak. Sonra da bunun ışığında verilen görevi yerine getirecek. Böyle bir, iki işlevli yapıyı nasıl kurarsınız? Her üç araştırmacı da buna farklı çözümler öneriyor.

Marble: From Words to Worlds (Kelimelerden Dünyalara), Fei Fei Li’nin Worlds Labs’inin manifestosunun özeti. Kurduğu sanal dünya, ilginç bir yöntemle oluşturuluyor. Bilgisayar oyunlarına meraklılar bilir, dünyayı ayrıntılı ve fiziksel şeklide doğru işleyebilmek ve karakterlerin hareketlerini fizik kurallarına uygun gösterebilmek için dünya hakkında gerekli bilgileri içeren oyun motorları kullanılır. Senaryoyu görselleştiren yazılım, bu motorun parametreleri içinde dünyayı işler. Ancak bu motorun, oyunu hızlı ve yüksek çözünürlükte verebilmesi için çok güçlü bilgisayarlar ve grafik kartları gerekir.

Fei Fei Li’nin Marble yazılımı, bir oyun motoru ve gaussian splat denilen bir tekniği kullanarak, görseller oluşturma sürecini basitleştirip hızlandırıyor. Görev verdiğiniz algoritma dünya ile etkileşime girmek isteyince, Marble’ın çabucak önüne sürdüğü dünya; bardak devrildiğinde suyun döküldüğü, topun bırakılınca yere düşüp geri geldiği bir mekan. Robotunuz veya ajan algoritmanız bununla etkileşime girerek sorun-çözüm modelleri oluşturabiliyor. Fei Fei Li, bunun ilk etap olduğunu, simülatör ve planlamacı dünya katmanları eklediklerinde mekansal zeka eğitiminin mümkün olacağını düşünüyor. Bu açıdan, şimdilik, Marble için daha çok dünya model arayüzü diyebiliriz.

DeepMind CEO’su Demis Hassabis’in dünyası farklı şekilde işliyor. Marble’ın tersine, Genie-3 herhangi bir oyun motoru ve yazılım kullanmadan, sadece kendi görsel eğitimi ile 3 boyutlu, 720p/24fps çözünürlüklü bir sanal dünya yaratıyor. Bu dünyada yere düşen eşyalar kırılabiliyor ve mekana geri döndüğünüzde hala yerde kırık olarak duruyor. Yaptığınız değişiklikler bozulmuyor, istediğinizde güneş çıkıyor, gölgeler beliriyor, yağmur yağınca her şey ıslanıyor. Kısacası model bildiğimiz dünyayı, bildiğimiz şekilde, özel yazılım kullanmadan oluşturabiliyor. Ajan algoritmaları bu dünya ile etkileşime girip çözüm modelleri üretebiliyor.

Burada ilginç bir dipnot var. LLM’leri eğitmek için yazılı milyarlarca kaynak var. Ama görsel eğitim için her konu ve alanı kapsayan video klibi pek yok. Genie-3 buna önemli bir çözüm getirebilir. Genie-3 dünyası bir de SIMA-2 diye bir ajan içeriyor, robot eğitimi kılavuzu. “Bir sonraki aşamada bu ajan planlar üretip değişik işlemleri yerine getirecek” diyor Hassabis. Buna Snow Crush romanındaki Metaverse’ün başlangıç noktası diyebiliriz.

Yann LeCun, yapay zekanın ilk yıllarında önemli başarılara imza atmış bir araştırmacı. Ancak 2022’den beri farklı bir yaklaşım üzerine çalışıyor. Yine dünya modeli çerçevesinde ama diğer iki yaklaşımdan farkı, görsel dünyalar oluşturmaktan ziyade bildiğimiz fiziksel dünyanın kurallarını AI’ya görsel bir yöntemle öğretmek. Platformun ismi JEPA ve açılımı Joint Embedding Predictive Architecture. Yani Ortak Katıştırma ve Öngörücü Mimari. JEPA, hayatının ilk beş yılında görsel olarak dünyayı anlayan küçük bir çocuğu andıran bir eğitim platformu. Hatta bir podcast’te LeCun, ilk senelerde “Evcil hayvan zekasını yakalarsak ne mutlu bize” dedi. 

Ancak diğer iki örnekte olduğu gibi amaç, yalnızca bir dünya modeli oluşturup onunla etkileşim kurmak değil, dünyanın nasıl işlediğini öngörücü bir mantıkla anlayabilmek. Peki bu nasıl yapılır? LeCun, bunun cevabı için size çocukluğunuzu hatırlatıyor. Duvara atılan ve geri gelen topun açısını nasıl öğrendik? Yüzlerce kere atarak ve yakalamaya çalışarak. LeCun, duvara atılan bir top videosunu binlerce kere AI’a izlettiriyor. Sonra ekranın yarısını kapatıp topun nasıl geri döneceğini tahmin etmesini istiyor. 

Aynı öğrenme süreci gerçek hayatta bebeklerde de görülüyor. Bebek bardağı deviriyor ve ıslanıyor. Veya oyuncağını atıyor ve büfenin altına girip kaybolunca önce yok oldu sanıyor, sonra annesi bulup geri verince bunun kaybolmadığını, mekanda görülemeyen bir yere gittiğini anlıyor. Tabii 500 kere tekrar ve aradan geçen 1-2 ay sonrasında. Dünyada olup biten her şeyi, eğriler ve öğrenilmiş dersler olarak hafızasına koyuyor. 

LeWM, diğer yaklaşımlardaki gibi iki ayrı dünya modeli kullanmak yerine, insanlara benzer şekilde robotlara doğrudan dünya bilgisini öğretmeyi amaçlayan bir yaklaşım. Bu bilgi, ajan algoritmasının bir parçası haline geliyor ve sistemin Craik’in önerdiği gibi problem çözmeye dayalı zihinsel modeller oluşturmasına yardım ediyor. 

Başka bir deyişle LeWM, bilişsel bilimden yararlanan ve kullanıma hazır bir tekil dünya modeli şekli. Bu sistem, görsel bilgileri bir bilgi tabanında topluyor ve nöro-sembolik bir yapı sayesinde muhakeme yapabiliyor. Buna makine muhakemesine ilk adım diyebiliriz.

JEPA, Doug Lenat’ın CYC projesinin aynısı değil ama aralarındaki yaklaşım benzerliğini de görmemek imkansız. LeCun, Lenat’ın 40 yılda belli bir düzeye getirebildiği projesini, JEPA ile çok daha hızlı bir şekilde sonlandırabileceğini umuyor.

Her ne kadar bu yaklaşımlar içinde en çok umut vadeden LeWM olsa da (ister nostalji deyin) ben hala Lenat son sözün sahibi olabilir diye düşünüyorum. Bir sosyal bilimci olarak, sağduyu, görsellik ötesi benim için. Bazı konuların ontolojisine kısa yol bulunamayabilir gibi geliyor bana. Kesin sonuç için birkaç bin TWh ve birkaç trilyon dolar sonrası yeniden konuşalım.