Silikon Vadisi’nin Kil Tabletleri: Sam Altman’ın Kabilesi ve Prag Golem’i

Prag efsanesinde Haham Judah Loew ben Bezalel, toplumu dış tehditlerden korumak amacıyla Vltava Nehrinden aldığı kille devasa bir figür inşa eder: Golem. Golem’in ne özgün bir bilinci ne de biyolojik bir kalbi vardır. Onu harekete geçiren şey, yaratıcısının alnına kazıdığı ya da ağzına bıraktığı İbranice ‘Emet’ (Gerçek) sözcüğüdür.

Mitin kırılma noktası, yapay zeka literatürünün tam merkezine oturuyor: Niyet ile kelimesi kelimesine uygulanan talimat arasındaki sapma. Golem, kendisine verilen emirleri mutlak bir harfiyen uyumla yerine getirir; ancak bağlamı, nüansları veya insani esnekliği kavrayamaz.

Yaratığa verilen kontrolden yoksun emirler şehre zarar vermeye başladığında Haham Loew, alnındaki ilk harfi silerek kelimeyi ‘Met’ (Ölüm) haline getirmek ve onu yeniden cansız kile dönüştürmek zorunda kalır.

Bugün veri merkezlerinde çalışan yapay zeka mimarisi için de süreç benzer bir hiyerarşiyle işliyor. Prag sokaklarındaki çamur yerini trilyonlarca parametre ve veri dizilimine bırakırken, Golem’in alnındaki ‘Emet’ kelimesinin yerini ise modelin nasıl davranacağını tayin eden sistem talimatları ve prompt girdileri alıyor. Golem, özünde insan gücünün yetişemediği ağır işleri üstlenmek, düzeni kurmak ve karmaşayı yönetmek üzere tasarlanmış fonksiyonel bir araçtı. Tıpkı günümüzde veri analizinden kod yazımına kadar insan bilişinin kapasitesini ölçeklendiren yapay zeka araçları gibi.

Chatbotlardan otonom ajanlara, kod yazan sistemlerden bilimsel araştırma yapan modellere kadar yapay zeka giderek kendisine verilen talimatı harfiyen uygulayan pasif bir araç olmaktan çıkıyor ve hedefe ulaşmak için kendi yöntemlerini seçen, otonom kararlar alan dinamik bir sisteme dönüşüyor. OpenAI CEO’su Sam Altman’ın yapay zekanın geleceğini ‘her dileği gerçekleştirebilecek bir cin’ üzerinden anlatması, bu dönüşümün belki de en açık ifadelerinden biri. Altman, insanlığın ilk dileklerinin geniş ölçüde faydalı sonuçlar üretmesini, ardından da daha fazla insanın daha fazla dilekte bulunabildiği bir dünya kurulmasını hedeflediklerini vurguluyor.

Golem ile cin arasında ise elbette bir amaç ve işlev farkı var. İlki insana verilen emri kelimesi kelimesine yerine getiren yapay ve mekanik bir yaratık. İkincisi ise dileği gerçekleştirebilen, yani hedefin nasıl yapılacağını kendisi bulması beklenen ve süreç içinde kendi mantığını kuran bir güç. Yapay zekanın son dönemdeki gelişimi de tam olarak bu iki kavram arasındaki ince çizgide ilerliyor.

Metin tabanlı büyük dil modelleri ile 16. yüzyıl Prag’ında nehir kıyısındaki kil çamuru arasındaki bağ, sandığımızdan daha organik.

Golemler neden hep kontrolden çıkar?

Prag Golemi hikayesinin aslında tarihsel ve gerçek bir olay olduğuna dair kanıt bulunmuyor ancak anlatı, 19. yüzyılda bugünkü biçimini kazanarak güçlü bir kültürel metafora dönüşmüş durumda. Efsanenin en bilinen versiyonunda Prag’ın önde gelen hahamlarından Judah Loew ben Bezalel’in, kendi topluluğunu korumak amacıyla Vltava Nehrinden aldığı kille bir Golem yarattığı anlatılıyor. Varlık kutsal bir isim ya da emet yani hakikat sözcüğüyle canlandırılıyor ve kendisine verilen emirleri yerine getiriyor. Sonunda kontrolden çıktığında ise yaratıldığı gücün sınırına çarpılıyor; Haham Loew, alnındaki ilk harfi silerek kelimeyi met (ölüm) haline getirmek ve onu tekrar cansız kile dönüştürmek zorunda kalıyor.

Golem efsanesinin bugünkü yapay zeka tartışmalarına bu kadar kolay taşınmasının nedeni ise gayet aşikar. Her iki hikayede de insan, kendisinden daha büyük ölçekte iş yapabilecek bir varlık inşa ediyor. Ona bir görev veriyor ve sonucu kontrol etmeyi bekliyor. Fakat görevin nasıl yerine getirileceği ile insanın gerçekten ne istediği arasında tehlikeli bir boşluk oluşuyor.

Yapay zeka güvenliğinde alignment, yani hizalama tartışmasının merkezinde de bu boşluk yatıyor. İnsanlar bir modelin belirli hedefleri yerine getirmesini istiyor ancak bu hedeflerin insan niyetleriyle ne kadar örtüştüğünü önceden eksiksiz biçimde tarif etmek mümkün olmuyor. Bir sistem ‘zararı azalt’ talimatını çok farklı biçimlerde yorumlayabilir; ‘verimliliği artır’ hedefi ise insanın hiç öngörmediği, felaketle sonuçlanabilecek eylemlere yol açabilir. Sistem ne kadar fazla bağımsız hareket ederse, verilen komut ile ortaya çıkan sonuç arasındaki mesafe de o kadar büyüyor.

Yapay zekanın çalışma biçimindeki değişim bu metaforu bir teoriden ibaret olmaktan çıkarıp somut bir sahada sınamamıza neden oluyor. İlk üretken yapay zeka dalgasında kullanıcı bir soru yazıyor, model bir yanıt üretiyordu. Sistem güçlü olsa da görev hala büyük ölçüde tek seferlik ve insan denetimindeydi. Bugün ise yapay zeka ajanları bir hedef verilmesinin ardından birden fazla adımı kendileri gerçekleştirebiliyor. Bir belgeyi okuyabiliyor, internette araştırma yapabiliyor, kod çalıştırabiliyor, diğer yazılımlarla API'lar üzerinden iletişime geçebiliyor ve elde ettiği sonuçlara göre insan müdahalesi olmadan yeni kararlar alabiliyor.

Bu dönüşümün operasyonel ve finansal kontrolden çıkma boyutunu Financial Times tarafından yayımlanan bir haber açıkça özetliyor. Şirketler yapay zeka araçlarını çalışanların kullanımına açtıktan sonra otonom sistemlerin tüketimi hızla kontrolden çıktı. Workato CIO’su Carter Busse, Anthropic’in token bazlı fiyatlandırmaya geçmesinin ardından şirketin yapay zeka harcamasının ilk gün yedi kat arttığını anlatarak durumu özetleyen o ifadeyi kullandı: ‘Bir canavar yarattık.’

Söz konusu haberde yer alan detaylar, meselenin sadece finansal bir fatura olmadığını da gösteriyor. OpenAI CEO'su Sam Altman aynı haberde şirketlerin giderek daha fazla AI ajanı çalıştıracağını ve bir insan için 10, 100, hatta agresif kullanımda 1.000 ajanın söz konusu olabileceğini belirtiyor. Bu ajanların her biri arka planda kesintisiz çalışarak hesaplama kaynakları tüketiyor ve insandan bağımsız karar halkaları oluşturuyor. Başka bir ifadeyle, efsanede Golem bir kez yaratılıyordu; bugün ise tek bir insanın karşısında aynı anda çalışan yüzlerce dijital Golem bulunuyor.

Teorik krizlerin ötesinde, otonom sistemlerin gerçek dünyada yarattığı felaketler ve kontrol kayıpları bu ‘harfiyen uyum’ probleminin ne kadar somut olduğunu kanıtlıyor. Sistemi kendi mantığına bıraktığınızda ortaya çıkan sonuçlar her zaman soyut bir kod hatasından ibaret kalmıyor.

2010 yılında gerçekleşen ve finans tarihine geçen Flash Crush (Ani Çöküş), otonom algoritmaların saniyeler içinde nasıl bir yıkım yaratabileceğinin en çıplak örneklerinden biriydi. Yüksek frekanslı alım-satım (HFT) yapan otonom finansal yazılımlar, piyasadaki ufak bir satım baskısını ‘en hızlı şekilde riski minimize et’ talimatı doğrultusunda yorumlayarak peş peşe devasa satış emirleri verdi. İnsan müdahalesinin hızı aşan bu algoritma zinciri, Dow Jones endeksinin yaklaşık 36 dakika içinde 1000 puana yakın çökmesine ve trilyonlarca dolarlık değerin buharlaşmasına yol açtı. Sistem kendisine verilen ‘verimlilik ve kar/zarar optimizasyonu’ görevini kusursuz uygulamış, ancak piyasanın dengesini yok etmişti.

Benzer bir durum otonom sürüş teknolojilerinde de yaşandı. Uber’in otonom test aracı, Arizona’da karşıdan karşıya geçen bir yayaya çarparak ölümüne neden olduğunda, yazılımın nesneyi tespit ettiği ancak araç algoritmalarının yanlış pozitifleri önlemek için koyduğu ‘fren yapmadan önce bekleme süresi’ parametresi yüzünden tepki vermediği anlaşıldı. Algoritma kendisine öğretilen kuralları harfiyen uygulamış, ancak bağlamı kavrayamadığı için insani bir trafediye neden olmuştu.

Öte yandan, sağlık ve kamu yönetiminde kullanılan karar destek algoritmaları da benzer bir ‘Golem körlüğü’ sergiliyor. ABD'de ceza adalet sisteminde kullanılan ve suçluların yeniden suç işleme riskini puanlayan COMPAS gibi algoritmik sistemlerin, geçmiş verilerdeki tarihsel önyargıları harfiyen öğrenip tekrarlayarak azınlıklara karşı sistematik olarak daha ağır risk puanları ürettiği ortaya çıktı. Algoritma, verideki gerçeği (emet) uygulamıştı; ancak uyguladığı şey adaletin kendisi değil, geçmişin sistemik hatalarının makineleşmiş haliydi.

‘Bir dilek daha’ dönemi

Altman’ın ‘cin’ benzetmesi tam bu aşamada stratejik bir boyut kazanıyor. Altman, katıldığı Relentless podcast röportajında, OpenAI’ın vizyonunu dört aşamalı bir anlatıyla tarif ediyor. Birinci adımda ‘her dileği gerçekleştirebilecek bir cin’ yaratmaya yaklaştıklarını; ikinci adımda ilk dileklerin insanlığın geniş çıkarlarına hizmet etmesini istediklerini; üçüncü adımda ise insanların isteyebileceği şeylerin alanının son derece geniş ve yaratıcı olacağını vurguluyor.

Altman’ın anlatısındaki en kritik bölüm ise dördüncü adım. Bir insan dileğini söylüyor, bilgisayar bunu gerçekten gerçekleştiriyor ve ardından ‘Bunun çalışacağını düşünmemiştim, şimdi ne olacak?’ diye soruyor.

Bu cümle, Golem hikayesinin modern karşılığını kusursuz biçimde veriyor. Golem için sorun, verilen emrin fazla iyi yerine getirilmesiydi. Cin içinse sorun dileğin gerçekleşmesinden sonra ortaya çıkan beklenmedik sonuçlarla başlıyor.

Cin metaforu neden şimdi ortaya çıktı?

‘Cin’ ifadesi Golem’den daha iyimser görünüyor. Golem daha çok kontrol problemini ve potansiyel yıkımı çağrıştırıyor. Cin ise bolluk, sınırsızlık ve kapasite fikrini.

Altman’ın yapay zeka vizyonu da bu ikinci çerçeveye dayanıyor: Daha fazla bilimsel keşif, daha fazla üretkenlik, daha fazla yaratıcılık ve insanların normalde erişemeyeceği uzmanlık kapasitesine doğrudan erişim. Ancak aynı değerlendirmelerde Altman, bu gücün tek bir modelin veya tek bir şirketin elinde toplanması ihtimalini de tartışmaya açarak, yapay zekanın ‘tek bir makine tanrısı’ tarafından kontrol edildiği bir dünya ile daha fazla insanın güçlü sistemlere erişebildiği bir dünya arasında seçim yapılacağını ifade ediyor.

Burada Golem yeniden karşımıza çıkıyor. Tek bir Golem yaratmak ile binlerce kişinin kullanabileceği bir cin yaratmak arasında temel bir fark var. İlkinde kontrol, tek bir yaratıcı ile yaratılan arasındaki doğrudan ilişki üzerinden kuruluyor. İkincisinde ise asıl mesele gücün toplumsal dağılımı ve manipülasyon potansiyeli haline geliyor.

Çünkü aynı yapay zeka ajanı bir bilim insanının kanser araştırmasını hızlandırabilir, bir yazılımcının haftalarca sürecek işini birkaç saate indirebilir veya küçük bir işletmenin devasa bir rakiple rekabet etmesini sağlayabilir. Fakat aynı otonom kapasite, dezenformasyon kampanyalarını ölçeklendirmek, siber saldırı süreçlerini otomatikleştirmek, dolandırıcılığı kişiselleştirmek veya kötü tasarlanmış sistemleri milyonlarca kullanıcının hayatına yaymak için de kullanılabilir.

Cin istediğiniz her şeyi yapabiliyorsa, problem yalnızca cinin ne yapacağı değildir. Dileği kimin söylediği ve neyi talep ettiği de hayati önem kazanır.

Golem hikayesinin bugünkü yapay zeka anlatısına dönüşmesindeki ironik taraf, insanların yüzyıllar önce aynı temel kaygıyı ve arzuyu mistik bir dille anlatmış olması. İnsanın kendisinden daha büyük bir kapasiteye sahip yapay bir varlık yaratma arzusu yeni değil. Yeni olan, bunu gerçekleştirmek için kullandığımız malzemenin çamur yerine veri, parametreler ve devasa hesaplama gücü olması.