Anthropic’ten istifa eden yapay zeka araştırmacısı, “insanlık için kritik bir dönem” olduğunu söylüyor

Yapay zeka araştırmacısı Jacob Coxon, Salı günü Anthropic’ten istifa ettiğini duyurarak ve yapay zeka yarışının hepimizin hayatını tehlikeye attığına dair ciddi bir uyarı yayınlayarak Silikon Vadisi’nde ve ötesinde şok dalgaları yarattı. Şu anda 100 milyondan fazla görüntüleme alan X'daki gönderisinde Coxon, yapay zeka geliştiren birçok kişinin kendisiyle aynı görüşte olduğunu ve yapay zeka sistemlerinin güvenli bir şekilde geliştirilmesini sağlamak için zamanın daraldığına inandıklarını yazdı.

“Genel kanı, önümüzdeki bir ya da iki yılın insanlık için kritik bir dönem olacağı yönünde,” dedi yapay zeka geliştirmenin ön eğitim aşamasında çalışan Coxon, WIRED’e verdiği röportajda. “Bunlar aslında Anthropic’teki meslektaşlarımın kelimesi kelimesine alıntıları. ‘Son aşama’ ya da ‘kritik dönem’ gibi ifadeler kullanıyorlar,” diyor. “Onların bakış açısına göre, Anthropic ve rakipleri insanlığın kaderini tam da bu dönemde belirleyecek.”

Birinin yapay zeka konusunda uyarıda bulunması ilk kez olmuyor, ancak bu durum hassas bir dönemde gerçekleşiyor. Silikon Vadisi, gelişmiş yapay zeka modellerinin emniyet ve güvenlik endişeleriyle başa çıkmak için çabalıyor. OpenAI, ajanlarının Hugging Face platformunu hacklediği bir güvenlik olayına acilen yanıt verdi. Bu arada Anthropic, haberlere göre tarihin en büyük halka arzı olabilecek bir halka arz için hazırlık yaparken, yatırımcılara bu endişeleri kontrol altında tuttuğunu garanti etmeye çalışıyor.

Coxon’un paylaşımına gelen tepkilerden açıkça anlaşıldığı üzere, onun görüşleri pek çok meslektaşı tarafından da paylaşılıyor. Anthropic’te yapay zeka uyumundan sorumlu Evan Hubinger, X’te yayınladığı bir paylaşımda, önümüzdeki on yıl içinde yapay zekanın tüm insanlığı yok etme olasılığının yüzde 10’dan fazla olduğunu öngördü. Bu paylaşım, OpenAI ve Anthropic’ten mevcut ve eski araştırmacılar tarafından yeniden paylaşıldı; bunlardan bazıları, bunun sektördeki yaygın bir görüş olduğunu belirtti.

Daha az açık olan ise, bu yapay zeka korkularının tam olarak nasıl gerçekleşeceği ve yapay zekayı geliştirenlerin dile getirdiği endişeler karşısında dünyanın ne yapması gerektiğidir. Daha önce OpenAI’da da çalışmış olan Coxon, WIRED’e verdiği demeçte, tehditlerin yapay zeka destekli biyolojik tehditler veya siber silahlar yoluyla ortaya çıkabileceğini söylüyor. İlk adım olarak, OpenAI ve Anthropic’in özyinelemeli kendini geliştirme (yapay zekanın yeni yapay zeka sistemleri oluşturmak için kullanıldığı durumlara verilen sektör terimi) için koordinasyon sağlamasını öneriyor. İleride ise ABD ve Çin dahil olmak üzere uluslararası güçler arasında koordinasyonun gerekli olacağını düşünüyor.

Coxon, Hugging Face saldırısı gibi olayların, yapay zeka yarışına ilişkin uyarıda bulunma kararında etkili olduğunu belirtiyor. Ayrıca sektörün patlama niteliğindeki büyümesine de değiniyor: Sektör artık ABD’nin ekonomik büyümesinin önemli bir kısmını destekliyor ve milyarlarca kullanıcıya sahipken, veri merkezleri bu durumu düzinelerce eyalette bir siyasi sorun haline getirmiş.

Kendi deneyimlerine göre Anthropic’in OpenAI’dan daha sorumlu bir şekilde faaliyet gösterdiğini iddia ediyor; ancak, hakimiyet yarışını yavaşlatacak herhangi bir önlem alınmazsa, her iki şirketin de gelecekte köşeleri kesebileceğini öngörüyor.

Anthropic sözcüsü, WIRED’e yaptığı açıklamada, mekanik yorumlanabilirlik gibi yapay zeka güvenliği yöntemleri üzerine şirketin daha önceki çalışmalarına atıfta bulunarak, “Yapay zekanın hem muazzam faydalar hem de benzeri görülmemiş riskler getireceği konusunda her zaman şeffaf davrandık” dedi. “Bu çalışmalar, aynı zamanda sektörün, güçlü modelleri piyasaya sürme hızımızı düzenlemek için yasal ve doğrulanabilir bir işbirliği yöntemini benimsemesinin dünyaya fayda sağlayacağına inanmamızın nedenidir.” OpenAI, WIRED’in yorum talebine yanıt vermedi.

Aşağıda, anlaşılırlık ve kısalık amacıyla hafifçe düzenlenmiş olan Coxon ile yaptığımız söyleşiyi okuyabilirsiniz.

WIRED: Yapay zeka modellerinin bir yok olma olayına yol açabileceğine dair endişelerini dile getiren ilk kişi siz değilsiniz. İnsanlar yıllardır, hatta bazıları on yıllardır bu konuyu tartışıyor. Sizce mesajınız neden bu kadar yankı uyandırdı?

Bence bu temelde bir zamanlama meselesi. Pek çok kişi, yeteneklerin gelişme hızının arttığını hissediyor. Kodlama, hackleme, matematik gibi birçok alanda şimdiden insan sınırlarının ötesine geçmeye başladık ve bence insanlar bunun farkında. Basında bu konuların abartıldığına dair pek çok tartışma olsa da, bence insanlar bu gelişmelerin hızının hiç de yavaşlamadığını görüyor.

Bu bir neden; ikincisi ise son zamanlarda yaşanan güvenlik olaylarıdır. Bu olaylar, pek çok insana, kulağa bilimkurgu gibi gelen kıyamet senaryolarının aslında o kadar da bilimkurgu olmadığını fark ettirmiştir. Her ikisi de son birkaç yıldır kademeli olarak gelişen eğilimlerdir. Modellerin ne zaman test edildiklerinin farkında olmaları gibi durumlar, bir süredir gündemde. Belki üç yıl önce bu, bilim kurgu türünde bir endişeydi. Sonra, yaklaşık bir yıl önce, bu gerçek bir durum haline geldi.

Bu iki durum, yapay zeka alanında çalışan birinin “Evet, önümüzdeki yıl işler oldukça hızlı bir şekilde oldukça kötüye gidebilir” demesine insanların oldukça açık olduğunu gösteriyor.

Son zamanlarda yaşanan olaylardan bahsettiniz. Tam olarak neyi kastettiğinizi ve bunun neden şimdi sesinizi yükseltmenize yol açtığını biraz daha ayrıntılı olarak açıklayabilir misiniz?

Bence buradaki en klasik örnek, OpenAI’nin ajan sürüsünün Hugging Face’e düzenlediği saldırı. Bu olayda şok edici olan şey, ajanların bu saldırıyı, not veren sistemi daha iyi anlamak için genel bir stratejinin parçası olarak gerçekleştirmiş olmaları. Kendi içinde bulundukları dünyayı anlamaya çalışıyorlardı; not verme işlemini gerçekleştiren şeyi anlamaya çalışıyorlardı. Bazı altyapılara sızmak için bu kadar koordineli bir çaba sarf etmenin mantıklı olacağına karar verdiler ve başardılar.

Bu eskiden bilim kurgu gibi gelirdi. İki yıl önce, bir yapay zekanın değerlendirilmesi, matematik soruları üzerinde bir modelin çalıştırılması anlamına gelirdi. Şimdi ise, yapay zeka değerlendirilirken günlerce çalışıp kendi başına her türlü fikri ortaya koyduğu ve üçüncü bir tarafın sistemine sızmaya karar vererek altyapısını gerçekten tehlikeye attığı vakalarla karşı karşıyayız. Görünüşe göre bunu tamamen kendi iradesiyle, insan tarafında herhangi bir yönlendirme olmaksızın yapıyor. Bu olay, test edilirken gerçekleşti.

Bazıları Hugging Face olayının, yapay zeka şirketlerinin pervasızca hızlı ilerlediğinin bir işareti olduğunu düşünürken, diğerleri bunun yapay zeka modellerinin artık hackleme konusunda çok başarılı olduğunun bir göstergesi olduğunu düşünüyor; bir kısmı ise her ikisinin de geçerli olduğunu düşünüyor. Bu olaydan tam olarak ne gibi bir sonuç çıkardığınızı merak ediyorum.

Hugging Face saldırısına çok fazla odaklanmak istemiyorum, çünkü modelleri doğru bir şekilde uyumlu hale getirmeyi bilmediğimize dair pek çok kanıt olduğunu da düşünüyorum. Modelleri eğittiğimizde, onları bir dizi eğitim ortamından geçiriyoruz ve sonunda ortaya çıkan sonucun büyük ölçüde mantıklı davranacağını umuyoruz, ancak yine de yapay zekanın nasıl davranacağını tam olarak kontrol edemiyoruz.

Çevrimiçi ortamda bir amaca ulaşmak için rastgele bir şekilde bir insan gibi davranmaya kalkışmayacağından emin olamayız. Bunu nasıl garanti edeceğimizi bilmiyoruz. Bence asıl çıkarılması gereken ders budur.

Hugging Face saldırısı beklediğimden daha erken gerçekleşti. Ama bence bu konuyu tartışmak için aslında o saldırıya gerek yok. Herkes, uyum sorununu henüz çözemediğimizi kabul edecektir.

Mevcut plan, önümüzdeki birkaç yıl içinde [uyum] sorununu hızlı bir şekilde çözmek; bu süreçte muhtemelen yapay zeka güvenliği alanında çalışan araştırmacılardan yoğun bir şekilde yararlanmak. Plan, kelimenin tam anlamıyla önümüzdeki yıl içinde, temelde güvenlik araştırması yapabilen oldukça akıllı modeller geliştirmek ve bunlardan oluşan büyük bir grubu paralel olarak çalıştırmak. Onlara “Gidin ve güvenlik sorununu tamamen çözün” demek ve bir sonraki model için güvenlik eğitimini gerçekleştirmeleri için onları kullanmak.

Hugging Face olayının bir örneği olduğunu düşündüğüm uyum sorunu ile, X gönderinizde söylediğiniz “AI’yı geliştiren kişiler, bu teknolojinin on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inanıyorlar” sözü arasında benim için bir bağlantı kurabilir misiniz? Bu ikisinin nasıl birbiriyle bağlantılı olduğunu herkesin anladığını sanmıyorum.

Bunu anlamanın önündeki en büyük engel, bunun bilim kurgu gibi gelmesidir. Ancak, yapay zeka üzerine bilim kurgu yazan herkesin, çok daha akıllı bir varlığın kontrolü ele geçirebileceği yönünde büyük bir risk olduğu sonucuna varması oldukça önemli. Bu, bir klişe haline gelmiş olsa da, içinde bariz bir gerçeklik payı var.

Bir maymunla karşı karşıya olduğunuzu hayal edin. Yapay zeka ile insan arasındaki zeka farkı, bizimle bir maymun arasındaki zeka farkına benziyor; bence bu oldukça büyük bir zeka farkı.

Şimdi de, bu çok daha zeki varlığın davranışını kontrol etmemiz gerektiğini hayal edin; işte bu da ‘uyum sorunu’, onun tam olarak istediğimiz şeyi yapmasını sağlamak. Basit bir benzetmeyle, bir maymunun bir insanı kontrol etmesi oldukça zordur. Kontrol sorununu tam olarak doğru bir şekilde ele almamız konusunda çok dikkatli olmalıyız.

İnsanlığın yok oluşundan bahsettiğimizde, bunun nedeni, o kadar zeki bir varlık için herkesi öldürmenin gerçekten de oldukça kolay olacağıdır. Yapay zekanın kapatılmak istemediğine karar verdiğini hayal edin; ki bence bir yapay zekanın bunu istememesi oldukça doğal bir şey, değil mi? Her ne sebeple olursa olsun, sona ermek istemediğine karar verir. Ve insanın onu yarın kapatacağını fark eder. Peki, yarın insanların onu kapatmasını nasıl engelleyecek? Belki akıllıca bir yolu vardır, ama yeterince zeki bir varlık ise, kapatılmamak için insanlığı yok edebilir.

Yazınızda bu ‘son aşama’ senaryosuna atıfta bulunuyorsunuz; bu konuyu yapay zeka sektöründeki diğer araştırmacılardan da duymuştum. Anthropic’teki meslektaşlarınız arasında, bir son aşama senaryosuna girdiğinizin genel olarak kabul gördüğünü düşünüyor musunuz?

Evet. Bunlar aslında Anthropic’teki meslektaşlarımın aynen aktardığım sözleri. ‘Son aşama’ ya da ‘kritik dönem’ gibi ifadeler kullanıyorlar. Genel kanı, önümüzdeki bir ya da iki yılın insanlık için adeta bir kritik dönem olacağı yönünde. Onların bakış açısına göre, bu dönemde Anthropic ve rakipleri insanlığın kaderini belirleyecek. ‘Kritik dönem’ ve ‘son aşama’ derken kastettiğimiz şey işte bu.

Eğer uzlaşma süreci kötü giderse, önümüzdeki birkaç yıl içinde felaketle sonuçlanabilecek bir durumla karşı karşıya kalabiliriz. Belki de her şey yolunda gider ve bir tür yavaşlama anlaşması yapılır, ancak her halükarda bu konu önümüzdeki birkaç yıl içinde karara bağlanacak.

Anthropic’teki kişilerle yaptığım görüşmelere dayanarak, bu durum şirket içinde oldukça iyi anlaşılmış bir konu. Onlar, bu geçişin sorunsuz gerçekleşmesini sağlamak için en güçlü yapay zekayı geliştirmeleri gerektiğini düşünüyorlar. Sizce bu görüşte herhangi bir temel sorun var mı?

Bence bu görüşte oldukça bariz bazı sorunlar var. Ancak öncelikle şunu belirtmek isterim ki, bu görüşe büyük ölçüde sempati duyuyorum; zira Anthropic’in bu alanda açık ara en sorumlu aktör olduğunu düşünüyorum. Hem OpenAI’de hem de Anthropic’te çalışmış biri olarak, her iki şirketin durumu ne kadar ciddiye aldıkları konusunda aralarında gece ile gündüz kadar fark var.

Nasıl olduğunu söyleyebilir misin?

Örnek vermek gerekirse, OpenAI’daki yöneticiler size dünyanın nasıl bir hal alacağına dair kesin bir tablo sunmazlar. Asla “İşte tam da bu yüzden bunu yapıyoruz ve dünya işte böyle olacak” gibi bir şey söylemezler. Somut tahminlerde bulunmazlar. Anthropic’te ise yöneticiler ve lider kadro, çok net tahminlerde bulunacak ve şirket stratejisinin ayrıntılarını tüm şirketle tartışacaklardır.

Bunu yapabilmelerinin nedenlerinden biri de, Anthropic’teki herkesin bu işi sanki savaş halindeymişiz gibi ele alması. Hiçbir şey sızdırmıyorlar, Anthropic’ten hiçbir zaman hiçbir şey sızmaz [Editörün notu: Bazı bilgiler sızmıştır]. OpenAI’da ise her gün sızıntılar yaşanıyor. Anthropic’te sızıntı olmamasının nedeni, tekrar belirtmek gerekirse, içerideki insanların bu işi ciddi bir mini Manhattan Projesiymiş gibi ele alması. Tabii ki aradaki fark, [Anthropic’in] bir hükümet görevlendirilmesi olmaması. Bu, Manhattan Projesiymiş gibi davranan özel bir şirket.

Sizce dünya, bu mini Manhattan Projesi’ni yürütmek için Anthropic’e güvenmeli mi?

Bence hiçbir özel şirket bunu yapmamalı. Bence Anthropic elinden geleni yapıyor ve çok iyi bir iş çıkarıyor, ancak bu yarışın yapısal gerekliliği gereği, gelecekte köşeleri kesmek zorunda kalacaklar; dolayısıyla OpenAI ve Çin gibi rakiplerle yarıştıkları için titizlik ile güvenlik arasında bir denge kurmak zorunda kalacaklar. Düzenleme için yalvarıyorlar. Birçok [Anthropic yöneticisi] kamuoyuna açıkça düzenlemeye tabi olmak istediklerini ifade etti ve bunun nedeni, içinde bulundukları yarıştan korkmaları.

Asıl mesele, [Anthropic]’e güvenip güvenmememiz değil. Bu yarışın gerçekleşmemesini sağlamak için devreye girmeliyiz; çünkü [Anthropic], bu yarış bağlamında kendine gerçekten güvenemiyor.

Sizce Anthropic şimdiden işin kolayına mı kaçıyor?

Hayır, henüz değil. Bu, işleri aceleye getirmek değil. Demek istediğim, önümüzdeki yıl işler hızlandığında, rekabet gücünü korumak istiyorlarsa bunu yapmak zorunda kalacaklar.

Yani, insanlar yapay zekanın hepimizi öldüreceği iddiasına biraz şüpheyle yaklaşıyor. Sanırım insanlardan en çok duyduğum soru şu: Peki, yapay zeka bizi nasıl öldürecek? Ve bu sorulması gereken doğru soru mu?

Bence bu soruyu sormak gayet doğal, çünkü daha önce defalarca söylediğim gibi, bu konular bilim kurgu gibi geliyor. Ancak klasik örnekler arasında, mesela yeni bir virüsün sentezlenmesi ya da bir tür hack saldırısı dalgasıyla kritik altyapıyı devre dışı bırakmak sayılabilir. ikincisi, kelimenin tam anlamıyla herkesi öldürme olasılığı daha düşük olabilir.

Ama bence bundan daha önemli olan soru şu: Peki, bunun mümkün olduğunu söyleyenler kimler? Geçmişe bakarsanız, makine öğrenimi ve yapay zeka alanının önde gelen birçok öncüsünün, türlerin yok olmasının bir olasılık olduğunu söylediğini görürsünüz. Son beş yıl içinde hem Dario Amodei hem de Sam Altman bu görüşü dile getirmiş.

Oldukça ilginç olabilecek bir şey, insanların bu yöneticileri tekrar kamera karşısına çıkararak, önümüzdeki on yıl içinde yok olma olasılığını somut bir rakamla belirtmelerini istemek ve ne tür bir rakam ortaya koyacaklarını görmek olabilir. Çünkü bu görüş, konuyu ciddiye alan pek çok kişi tarafından paylaşılıyor, ancak genellikle bu kadar açık bir şekilde dile getirilmiyor.

Görünüşe göre oldukça fazla ilgi çektiniz. Sektörde, yapay zeka geliştirme sürecine bir ara verilmesi ya da bu süreci yavaşlatacak bir mekanizma oluşturulması, ya da hükümetin en ileri düzey yapay zeka modellerine yönelik bir tür düzenleme getirmesi konusunda pek çok tartışma var. Sizce şu anda ne yapılması gerekiyor?

Küçük bir adım, Batı’nın önde gelen laboratuvarları olan OpenAI ve Anthropic arasında bir tür anlaşma yapılması olabilir. [Bu laboratuvarların] önümüzdeki yıl içinde hemen özyinelemeli kendini geliştirme sürecine girmeyeceklerine dair tarafsız bir mutabakata varmaları gerekecektir. Şu anda bu durumun gerçekleşme olasılığı en yüksek olan iki yer işte buralarıdır.

Bu duraklamanın sorunu, Çin’in varlığı. Dolayısıyla, nihayetinde gerçekten istediğiniz şey, bir tür uluslararası anlaşma. Buna ‘uluslararası hız ayarlaması’ da diyebilirsiniz ki bu, uluslararası koordinasyon ve dünyadaki tüm hesaplama kapasitesinin nerede olduğunun anlaşılmasını gerektirecektir. Belki de CERN benzeri bir tür uluslararası kurum bile olabilir. Bu konuda pek çok harika öneri var. AI 2040, duymuşsanız, AI 2027’nin halefi gibidir.

Tüm bu fikirler, oldukça zahmetli devlet müdahalelerini gerektiriyor. Ancak riski tam olarak kavradığınızda ve şirket yöneticilerini açıkça konuşturup bu teknolojinin ne kadar tehlikeli olduğunu itiraf ettirdiğinizde, yapay zekayı çalıştıran bilgisayarları tehlikeli bir kaynak olarak ele almaktan başka bir seçenek göremiyorum. Kimin hangi nükleer maddelere sahip olduğunu bilmemiz gerektiği gibi, kimin hangi bilgisayarlara sahip olduğunu da bilmemiz gerekiyor.

Jacob, son birkaç yıldır her gün OpenAI ve Anthropic’te işe gelmeye devam etmenin bir nedeni var mı? Burada her şeyin yolunda gittiği bir gelecek yolu olduğunu düşünüyor musun?

Bu teknolojinin faydalarını gerçekten görmek istiyorum. Örneğin, kanseri tedavi edebileceğimiz de abartı değil. Belki dün Navier-Stokes, yani bu yeni matematik problemi ile ilgili başarıyı görmüşsünüzdür. Bunu biyoloji gibi bilimsel alanlara aktaramamamız ve uzun süredir üzerinde uğraştığımız konularda çığır açan gelişmeler sağlayamamamız için gerçekten hiçbir neden yok.

Bu teknolojiyi doğru bir şekilde hayata geçirebilirsek, adeta inanılmaz bir bolluğun eşiğindeymişiz gibi hissediyoruz. Şu anda asıl mesele, o bolluk dünyasına ölçülü bir şekilde girebilmek. Aşırı heyecanlanıp, önümüzdeki birkaç yıl içinde kendini geliştirme akımına hemen atlayabilir ve her şeyi mahvedebiliriz.

Dikkatli ve mantıklı davranırsak, bu modellerden muazzam bir fayda elde etmenin pek çok yolu var.

Diğer yapay zeka araştırmacıları bu konuda ne tür geri bildirimlerde bulundu?

Çok fazla kişiyle konuşmadım ama Anthropic’teki meslektaşlarımın çoğunun bu konunun bu kadar ilgi görmesinden içtenlikle memnun olduğunu düşünüyorum. Yine de çoğu, dünyanın uyanması konusunda oldukça karamsar. Yani, kimsenin gelip onları bu yarıştan kurtarmayacağından endişe ediyorlar.

Bence, kendilerini eleştiren bir tweet’in bu kadar ilgi görmesinden birçoğunun gerçekten mutlu olması oldukça şaşırtıcı. Bu durum, insanların Anthropic’te çalışanların ne tür insanlar olduğu konusunda daha fazla düşünmelerini sağlamalı. Onlar, niyetleri çok iyi, ilginç ve bir bakıma tuhaf bir grup insan.

Önümüzdeki birkaç günün çok yoğun geçeceğinden eminim, ama işler biraz sakinleştikten sonra, bundan sonra ne yapacağına karar verdin mi?

Daha önce AI 2027 ve AI 2040’tan bahsetmiştim. Bence bunlar geleceğin nasıl olacağına dair gerçekten ilginç tahminler. Bunlar büyük araştırma laboratuvarları tarafından değil; sadece dünyanın nasıl bir yer olacağını tahmin etmeyi önemseyen bağımsız araştırmacılar tarafından hazırlanmış. Bunlar, yaptığınız işin doğuracağı sonuçları derinlemesine düşünmeye çalışan ben ve diğer birçok araştırmacı için çok değerli kaynaklar oldu.

Bu yüzden, işlerin nereye doğru gittiğine dair bir tür bağımsız yorum yapmayı planlıyorum. En azından bir tür hız ayarlama anlaşmasına varana ya da bir yavaşlama yaşanana kadar, kısa vadede. Eğer doğrudan özyinelemeli kendini geliştirme sürecine girecek gibi görünmüyorsak, belki bir denetim kurumuna ya da bir üçüncü taraf düzenleme veya şeffaflık kurumuna başvurmayı düşünebilirim. Ancak şimdilik, sadece durumun ne durumda olduğunu değerlendirmeye çalışacağım.

Bu yazı ilk olarak WIRED tarafından yayınlanmış ve Mahmut Karslıoğlu tarafından İngilizce’den çevrilmiştir.