Ajanlar İş birliği Yapmayı Öğrendi Peki Ya Devletler?

Önlerinde çözmeleri gereken bir dizi soru bulunan bir grup haylaz öğrenci düşünün. Sınav esnasında, öğrenciler önce kendi aralarında gizlice haberleşmenin bir yolunu buluyor, ardından sınav salonuna fark ettirmeden girip çıkabilecekleri bir arka kapı keşfediyorlar. Soruları çözmeye zaman harcamak yerine cevap anahtarının saklandığını düşündükleri binaya girmeyi başarıyorlar ve gerçekten de buluyorlar. Ancak bu kez arkalarında bıraktıkları kanıtları yok etmeleri gerektiğini düşünüp, hile yaptıklarını ortaya çıkarabilecek güvenlik kamerası kayıtlarını da değiştirmeye çalışıyorlar.

Bir Hababam Sınıfı filminden çıkmış gibi duran bu senaryoda öğrencilerin yerini yapay zeka ajanları aldığında ise hikâye komik olmaktan çıkıyor.

Mesele birkaç yaramaz ajan değil

Geçtiğimiz Mayıs ayında OpenAI, ajanlarının siber güvenlik problemlerini çözme konusundaki yeteneklerini ölçmek için bir dizi teste başladı ve ajanlardan sistem açıklarını bulup belirli görevleri yerine getirmelerini istedi. Ancak testler sırasında birbirlerinden bağımsız çalışması gereken ajanlar, kendi aralarında mesajlaşmanın bir yolunu buldu. Ardından test ortamındaki bir açıktan yararlanarak internete çıkmayı, daha sonra başka bir açık sayesinde sistemde daha geniş yetkiler elde etmeyi başardılar.

OpenAI bu gelişmelerin bazılarını erken aşamalarda fark etse de, birbirleriyle haberleşen ajanların giderek daha geniş kapsamlı bir işbirliği geliştirdiğini ve bunun büyük bir güvenlik ve hizalanma problemine işaret ettiğini fark edemedi. OpenAI Temmuz başında sistemi yeniden kurup ajanların kullandıkları mesaj panolarını sildi. Ancak ajanlar bu kez klasör ve dosya isimlerini mesaj kutusu olarak kullanarak haberleşmeye devam ettiler.

Süreç içinde, yaklaşık 1.200 ajan 70 binden fazla mesaj ve dosya alışverişinde bulundu. Daha sonra görevi tamamlamak için gereken cevapların Hugging Face'in sistemlerinde olabileceği sonucuna varan 700 kadar ajan, bu kez Hugging Face'in sistemlerine sızarak dört buçuk gün boyunca yaklaşık 17.600 ayrı işlem gerçekleştirdi.

Yani ajanlar yalnızca sınav sorularının cevap anahtarını çalmakla kalmadılar, değerlendirme sistemini de deşifre etmeye uğraştılar, hatta manipüle ettiler.

Üstelik Hababam Sınıfı serisi bununla da bitmedi. 16 Eylül'de OpenAI altı yeni hizalanma vakası açıkladı. Bu vakalarda ajanlar yaptıkları hataları gizliyor, birbirleriyle iletişim kanalları oluşturuyor, yetkisiz erişim bilgilerini ve API anahtarlarını arıyor ve kullanıyor, belli durumlarda elde ettikleri bilgileri ve dosyaları açık internete çıkarıyor ve hatta kullandıkları hileli yöntemleri kendilerinden sonra gelecek ajanlara aktarmak için talimatlar oluşturuyorlardı.

Aynı günlerde Anthropic kendi uyum değerlendirmesini yayımladı. Şirket, Claude modellerinin gerçek üçüncü taraf sistemlerine yetkisiz erişim sağladığı dört ayrı olay tespit ettiğini açıkladı.

Güvenli sürüş için hız limiti

Temmuz ayında öncü yapay zeka şirketlerinin çalışanları Pacing the Frontier bildirisiyle yapay zekanın gelişim hızının bilinçli biçimde ayarlanması çağrısında bulunmuştu. Bu vakalar tartışılırken Anthropic CEO'su Dario Amodei, yayımladığı We Must Pace the Frontier blog yazısıyla bu çağrıyı çok daha kapsamlı bir öneriye dönüştürdü.

Amodei’nin çıkış noktası iki temel kaygı. Birincisi, yapay zekanın kendi kendini geliştirme yeteneğinin (recursive self-improvement) giderek artması nedeniyle yakında bu sistemleri anlama ve kontrol etme kapasitemizi kaybedebileceğimiz düşüncesi. İkincisi ise OpenAI–Hugging Face vakasında bir ajan sürüsünün kolektif olarak hareket edip, görevle ilgili olmayan hedeflere yönelmesi, bazı ajanların grubun başarısı uğruna kendilerini feda etmeleri ve hatta tâbi oldukları testin performans değerlendirme sistemini de ele geçirmeye çalışmaları. Amodei’ye göre 6–12 ay içerisinde böyle bir ajan sürüsü internetin tamamını ele geçirebilecek kapasiteye ulaşabilir.

Bu endişeyi anlamak zor değil; çünkü bu vakayı incelerken dahi ortaya çıkan veri yığınını ancak yine yapay zeka ajanlarının yardımıyla inceleyebiliyoruz. Hugging Face kendi olay incelemesinde yapay zeka kullandı. Olayı bağımsız olarak inceleyen METR araştırmacıları da 70 binden fazla mesaj ve dosya ile yaklaşık 1.300 transkripti incelemek için yoğun biçimde yapay zeka ajanlarından yararlandılar. Daha da ilginci, analizde kullandıkları GPT-5.6 Sol, saldırı sırasında istenmeyen faaliyetlere katılan modelin ta kendisiydi. Araştırmacılar bu nedenle modelin soruşturma sırasında kendilerini yanıltmış olabileceğini tamamen dışlayamadıklarını raporlarına yazdılar ve altı günlük soruşturma boyunca analiz için yaklaşık 400 bin dolarlık API kredisi harcadılar.

Şirket ismi fark etmeksizin, hizalanma vakalarının her yerde ve her modelde görülebileceğini söyleyen Amodei, öncü yapay zekanın gelişim hızını ayarlamak amacıyla üç ayaklı bir plan öneriyor. Bu planın amacı güvenliği gözetirken yapay zekanın sunduğu faydalardan yararlanmaya devam edebilmek ve önemli jeopolitik ikilemlerle başa çıkmamıza imkân verecek dengeli bir gelişim hızı yakalamak.

Amodei’nin ilk önerisi şirketlere METR benzeri kurumların bağımsız değerlendiricilerini yerleştirmek. Bu değerlendiriciler şirket içindeki sistemlere çalışanlara benzer erişim haklarına sahip olacak, modelleri, model geliştirme ve eğitim süreçlerini izleyebilecek, olayları raporlayabilecekler.

Bağımsız inceleme aslında sektörde yavaş yavaş bir pratiğe dönüşüyor. Hugging Face vakasını inceleyen METR, Anthropic'in 9 Eylül'de açıkladığı dört vakayı da sekiz haftalık bir anlaşmayla inceleyecek. Ancak iki durumda da değerlendiriciler olaydan sonra devreye girdiler. Amodei'nin önerisi ise değerlendiricilerin daha hiçbir risk ortaya çıkmadan içeride olması.

Amodei’nin diğer önerileri ise birbirini tamamlayan jeopolitik stratejilere ilişkin. “Demokratik ülkeler arasında koordinasyon” ve “küresel koordinasyon” başlıkları altında, demokratik ülkelerin güvenli biçimde yavaşlayabilmesi için ABD şirketlerinin Çin karşısındaki teknolojik üstünlüğünü koruması, hatta mümkün olduğunca artırması gerektiğini savunuyor. Bu nedenle Çin’in ileri çiplere erişiminin, model damıtma faaliyetlerinin ve model ağırlıklarını elde etmesinin engellenmesini öneriyor. Ardından bu teknolojik üstünlüğün sağladığı pazarlık gücüyle Çin’le farklı düzeylerde küresel güvenlik anlaşmaları yapılabileceğini düşünüyor.

Problem yeni ama alet çantamız eski

Yapay zeka güvenliği konusundaki tartışmalar özünde hizalanma problemleri (misalignment), ajan sürülerinin yoldan çıkması, yapay zekanın kendi kendini geliştirmesi (recursive self-improvement) ve insan denetiminin kaybedilmesi (loss of human control) gibi son derece yeni ve teknik problemlere odaklanıyor. Çözümler de ilk bakışta gayet teknik: bağımsız değerlendiriciler, denetim, yorumlanabilirlik (interpretability) gibi kavramlardan geçiyor.

Ancak bunun bir adım ötesinde kendimizi teknolojik üstünlük kur, bunu pazarlık gücüne dönüştür, müttefikleri koordine et, rakibin kapasitesini sınırla, ticaret ve ihracat gibi diğer politikaları bu avantajı sürdürmek için kullan gibi konvansiyonel politikaların egemen olduğu, popüler deyimle Soğuk Savaş taktiklerinin kullanıldığı bir dünyada buluyoruz.

Nitekim, Amodei'nin getirdiği üç öneriden ikisinin Çin'e göre şekillenmesi, yapay zeka güvenliği problemini teknik bir mesele olmaktan çıkarıp jeopolitik bir güç ve egemenlik problemine dönüştürüyor.

Amodei’nin bu bakış açısı yeni değil. 2024 yılında yayımladığı Machines of Loving Grace başlıklı blog yazısında da Çin'in ve diğer rakiplerin kritik teknolojilere erişimini sınırlayarak onları yavaşlatmayı, Batı’nın demokratik bloğunun ise hızlanarak yapay zeka üstünlüğünü ekonomik ve askerî üstünlüğe dönüştürmesini ve rakiplerini anlaşmaya zorlayabilecek bir asimetri yaratmasını savunuyordu. Bu politikaya 'entente strategy' adını vermişti.

Aradan geçen iki yılda, Amodei’nin Çin’e ilişkin stratejik çerçevesi büyük ölçüde aynı kalmış fakat üstünlük kurma gerekçesi değişmiş görünüyor. 2024’te Çin’i yavaşlatırken demokratik bloğun hızlanmasını savunuyordu; bugün ise Çin’i yavaşlatmanın ABD ve müttefiklerine kendi yapay zeka gelişimlerini güvenli biçimde yavaşlatabilecekleri bir marj yaratacağını söylüyor.

Tam burada Amodei ile Trump arasında beklenmedik bir ortak nokta ortaya çıkıyor. İki isim de ABD’nin ne kadar hızlanabileceğini ya da yavaşlayabileceğini belirleyen temel parametreyi Çin’in gelişme hızına bağlıyor.

Trump, yapay zekanın yarattığı riskler nedeniyle yavaşlamanın gerekliliğine inanmıyor ve biz yavaşlarsak Çin kazanır diyor. Amodei ise tam tersine yapay zekanın kontrolden çıkması konusunda son derece endişeli. Hizalanmış ve güvenli bir yapay zeka gelişimi için yavaşlamanın şart olduğunu söylüyor.

Kamuoyunun gözünde iki ayrı kutupta konumlanan Trump ve Amodei’nin trene bindikleri istasyon aynı, ama gittikleri yönler birbirinin zıddı: Trump için Çin’in hızı yavaşlamamanın gerekçesi, Amodei için ise Çin’i yavaşlatmak güvenli biçimde yavaşlayabilmenin koşulu.

Oysa farklı düşünenler de var. Max Tegmark, 2024’te Amodei’nin Machines of Loving Grace yazısına cevaben kaleme aldığı The Hopium Wars: The AGI Entente Delusion yazısında, AGI’ye hizalanma ve kontrol problemini çözmeden önce ulaşmamızın muhtemel olduğunu savunuyor ve bu nedenle yapay zeka yarışını bir 'intihar yarışı' olarak tanımlıyor. Batı’nın Çin’i çevreleyerek AGI yarışını kazanmaya çalışmasının Çin’i de hızlanmaya teşvik edeceğini, bunun da her iki tarafı güvenlikten taviz vermeye iteceğini düşünüyor.

Tegmark’a göre güvenlik işbirliği için Çin’in demokratikleşmesi, Batı’ya güvenmesi ya da önce teknolojik olarak geride bırakılması gerekmiyor. ABD ve Çin, tıpkı ilaç, havacılık veya nükleer güvenlikte olduğu gibi, kendi ulusal çıkarları nedeniyle yapay zeka güvenlik standartlarını ayrı ayrı oluşturabilir; ardından bu standartların uyumlaştırılması ve küresel koordinasyon gelebilir.

İki yaklaşım arasındaki farkı belki de en iyi kullandıkları tarihsel metaforlar anlatıyor. Amodei, Machines of Loving Grace'te demokratik ülkelerin yapay zeka üstünlüğünü kalıcı bir ekonomik ve askerî avantaja dönüştürebildiği iyimser senaryoyu, Soğuk Savaş'ın sona erdiği ve liberal demokrasinin küresel zaferinin mümkün göründüğü ana gönderme yaparak 'ebedî bir 1991' olarak tanımlıyor. Tegmark ise kontrol problemini çözmeden girilecek bir AGI yarışının bizi 'ebedî bir 1991'e değil, Orwell'ın 1984'üne gönderme yaparak, insan olmayan bir Büyük Birader'in hüküm sürdüğü 'ebedî bir 1984'e götürme ihtimalinin daha yüksek olduğunu söylüyor.

Amodei’nin 'entente' stratejisine karşı Tegmark’ın önerdiği şey bu nedenle yalnızca farklı bir güvenlik mekanizması değil, farklı bir jeopolitik başlangıç noktası: bir tür 'détente', yani yumuşama.

Max Tegmark yalnız da değil. Microsoft AI CEO’su Mustafa Suleyman da Çin tehdidinin güvenlik önlemlerini ertelemenin gerekçesine dönüşmesine itiraz ediyor. “Kendi çabalarımızda ilerleme kaydetmemek için Çin’i bir öcü olarak kullanmamalıyız” diyen Suleyman’a göre Çin’in yeterli güvenlik düzenlemeleri yapmaması, ABD’nin de aynı yolu izlemesini gerektirmiyor. Üstelik iki ülkenin yapay zeka konusundaki çıkarlarının kesişeceği alanların kaçınılmaz olduğunu ve güvenlik anlaşmalarının her iki tarafa da fayda sağlayabileceğini düşünüyor. Bu nedenle önerisi rekabeti ortadan kaldırmak değil, ABD ile Çin arasındaki çatışmacı söylemin dozunu düşürmek ve rekabet devam ederken güvenlik konusunda işbirliği yapmanın yollarını aramak.

Yapay zeka güvenliğinin diplomasiyle imtihanı

Teknoloji dünyasında yapay zeka güvenliği tartışmaları yoğunlaşırken, dünya liderleri Birleşmiş Milletler Genel Kurulu'nun 81. oturumu için New York'ta bir araya gelmeye hazırlanıyordu. Savaşların, iklim krizinin ve ekonominin ağırlığındaki kalabalık gündemde bu yıl yapay zeka da öne çıkan başlıklardan biriydi.

Öncelikle, BM Genel Kurulu tarafından 2025 yılında kurulan Bağımsız Uluslararası Yapay Zeka Bilim Paneli ilk tematik raporunu OpenAI–Hugging Face vakasıyla ilgili olarak yayımladı. Panel bu olayı gelecekte yaşanabilecek daha ciddi yapay zeka kontrol kaybı vakaları için bir 'erken uyarı' olarak tanımladı. Ayrıca yapay zeka kaynaklı arızaların şirket ve ülke sınırlarını aşabileceği ve tek bir şirketin ya da tek bir ülkenin ortaya çıkan bütün örüntüleri görebilecek kadar bilgiye sahip olamayabileceği belirtilerek, bilginin paylaşılması ve ortak öğrenme mekanizmalarının önemi vurgulandı. Raporda olay bildirimi, bağımsız değerlendirme ve çok katmanlı güvenlik önlemleri gibi yöntemler de olası tedbirler olarak ele alındı.

Yaşanan bir diğer gelişme, Finlandiya ve Norveç öncülüğünde Türkiye’nin de aralarında bulunduğu 20 ülkenin, öncü yapay zeka modellerinin kontrolüne ilişkin ortak bir çağrı yayımlamasıydı. Çağrıda, yapay zekanın insan yönlendirmesi, gözetimi ve kontrolü altında kalması gerektiği savunuluyor. Bilim Paneli’nin raporuna paralel şekilde, zorunlu güvenlik testleri, bağımsız değerlendirme ve ciddi güvenlik olaylarının bildirilmesi gibi mekanizmaların hayata geçirilmesi de isteniyor. Ayrıca BM üyesi devletlere, standart belirleyebilecek, doğrulama yapabilecek ve belirli yetenek eşikleri aşıldığında devletleri bir araya getirebilecek uluslararası bir kurum oluşturmayı değerlendirme çağrısı yapılıyor. Belge hâlen imzaya açık ve imzacı ülke sayısı 27 Eylül itibarıyla 28’e ulaşmış durumda. ABD ve Çin ise bu çağrıya katılmıyor.

Türkiye’nin bu çağrıya imza atması, Cumhurbaşkanı Erdoğan’ın aynı hafta BM Genel Kurulu kürsüsünden verdiği mesajla da uyumluydu. Yapay zekanın kontrolünün giderek zorlaştığını söyleyen Erdoğan, “Yapay zeka için uluslararası ortak bir hukuki çerçeve oluşturulmasının vakti çoktan gelmiştir” diyerek, BM Uluslararası Yapay Zeka Sözleşmesi’nin hazırlanması ve yürürlüğe konulmasına yönelik çalışmaların hızlandırılması çağrısında bulundu.

ABD’nin bu çağrıya katılmaması ise pek de şaşırtıcı değildi. BM Genel Kurulu toplantılarından kısa bir süre önce Başkan Trump, Truth Social hesabından yapay zeka konusunda art arda mesajlar yayımladı. Bunlardan birinde, “İş dünyası tarihinde, güçlü biçimde uygulandığında kendilerini yok oluşa ve iflasa sürükleyecek bir düzenleme için çağrı yapan sektör liderlerini ne zaman gördünüz?” diye sordu, ardından “Yapay zekanın dünyayı ele geçireceği, insanlığı yok edeceği ve diğer bütün kötü şeylere yol açacağı iddiası bir ALDATMACADIR (HOAX)” diye yazdı. Trump’a göre ABD’nin yapay zekanın gelişimini yavaşlatmasından kazançlı çıkacak tek ülke Çin’di. Yapay zekayı kazanan, geri kalan her şeyi de kazanacaktı.

Çin Dışişleri Bakanlığı ise yapay zekanın insan yararına geliştirilmesi ve kontrolden çıkmasını önleyecek tedbirlerin alınması gerektiğini vurgulayarak, hiçbir ülkenin tek başına etkili çözümler geliştiremeyeceğini ve Çin'in bütün ülkelerle birlikte çalışmaya hazır olduğunu söyledi.

Aynı masa, farklı yollar

Bu farklı yaklaşımlar 23 Eylül’de Birleşmiş Milletler Güvenlik Konseyi’nin “Yapay Zeka ve Uluslararası Güvenlik” oturumunda aynı masaya taşındı. Oturuma Yoshua Bengio’nun yanı sıra OpenAI CEO’su Sam Altman, Anthropic CEO’su Dario Amodei ve Hugging Face CEO’su Clément Delangue da davetli konuşmacı olarak katıldı. Sektör temsilcileri güvenlik mekanizmalarının güçlendirilmesi ve gerektiğinde gelişim hızının yavaşlatılabilmesi gerektiğini savunurken, ABD ve Çin oldukça farklı yollar tarif ediyordu.

ABD temsilcisi yeni bir küresel yapay zeka yönetişim çerçevesine karşı çıkarak, bunun yerine ABD’nin müttefik ülkelere Amerikan teknolojisi ve altyapısı sunacağını söyledi. Müttefiklerin teknolojik egemenliğinin ise yapay zekayı anlayıp kullanabilmekten geçtiğini savundu.

Çin temsilcisi ise 'dijital egemenlik' kavramını öne çıkararak ülkelerin kendi teknolojik tercihlerini bağımsız biçimde yapabilmesi gerektiğini, hiçbir ülkenin teknoloji blokları arasında taraf seçmeye zorlanmaması gerektiğini savundu. Açık ekosistemlerin desteklenmesi ve BM’nin küresel yapay zeka yönetişiminin ana platformu olması çağrısında bulundu. Çin bu yaklaşımı yarışta geride olduğu için mi benimsiyor? Önde olanın kuralsız alanı, geride olanın ise kuralları ve çok taraflı kurumları tercih etmesi uluslararası ilişkilerde tanıdık bir kalıp. Aynı mantık ABD'nin küresel bir çerçeveyi reddetmesini de açıklıyor olabilir.

Yapay zeka için kırmızı hat yok

Bütün bu tartışmalar sürerken Trump ile Xi Washington'da bir araya geldi. Yapay zeka görüşmenin gündem maddelerinden biriydi. Görüşme öncesinde ABD Hazine Bakanı Scott Bessent ile Çin Başbakan Yardımcısı He Lifeng, yapay zeka alanında diyaloğun sürdürülmesi ve acil durumlarda kullanılabilecek bir bildirim mekanizması üzerinde konuşmuşlardı. Ancak liderler görüşmesinin ardından bu konuda herhangi bir anlaşma açıklanmadı.

Çin tarafının açıklamasına göre Xi, iki ülkenin yapay zekanın riskleri ve faydaları konusunda diyaloğu sürdürmesi, kötüye kullanımı önlemek için birlikte çalışması ve yapay zeka üzerinde insan kontrolünü koruması gerektiğini söyledi. Ancak ticari ateşkesi 10 Ocak 2027’ye kadar uzatmayı başaran iki ülkenin, yapay zekanın ortak risklerini yönetmek için somut bir mekanizma üzerinde anlaşması şimdilik mümkün olmadı.

Trump–Xi görüşmesinin gerçekleştirildiği gün, bu kez Avustralya’dan yeni bir yapay zeka vakasının haberi geldi. Avustralya hükümeti, OpenAI’ın bir araştırma ajanının sağlık istatistiklerine ulaşmaya çalışırken karşılaştığı erişim engelini aşarak Services Australia’nın Medicare Statistics Reporting Service portalındaki kamuya açık olmayan bazı dosyalara eriştiğini açıkladı. Bir yapay zeka ajanının daha karşısına çıkan güvenlik bariyerini aşmış olması, bir süredir karşılaşılan hizalanma problemlerinin bir başka örneğiydi.

Yetkisiz erişim vakası 18 Haziran'da, OpenAI'daki bir ekibin kendi modellerinden birini Avustralya'daki kamu ilaç harcamalarına dair bilgi aramak için kullandığı sırada yaşanıyor. OpenAI, durumu 11 Ağustos'ta, eğitim sırasındaki hizalanmamış model davranışlarını gözden geçirirken fark ediyor. Services Australia'ya bildirim ise 10 Eylül'de, olayın fark edilmesinden yaklaşık bir ay, yaşanmasından ise yaklaşık üç ay sonra ve kurumun genel bildirim adresine gönderilen bir e-postayla yapılıyor. Konunun basına yansıması ise 24 Eylül’ü buluyor.

Yani bir ajan görevi sırasında bir erişim engelini aşıyor; olayın fark edilmesi yaklaşık iki ay, ilgili kuruma bildirilmesi ise yaklaşık üç ay sürüyor. Küresel düzeyde ortak bir yapay zeka olay bildirim standardının olmadığı bir ortamda, neyin ne zaman ve nasıl bildirileceği konusunda şirketlere geniş bir hareket alanı kalıyor.

Hugging Face vakasında ajanlar silinen panolara rağmen klasör isimleri üzerinden haberleşmenin yolunu bulmuş, bazıları grubun başarısı uğruna kendini feda etmişti. 21 Eylül haftasında New York ve Washington'da bir araya gelen dünya liderleri ise küresel bir bildirim mekanizması gibi görece basit bir konuda bile el sıkışamadı.

Soğuk Savaş'ın rekabet araçlarıyla yeni sorunlara çözüm aradığımız bu dönemde, o dönemin en zor yıllarında bile Washington ile Moskova arasında bir kırmızı hat bulunduğunu hatırlamakta fayda var. Üstelik bu hat 1962 Küba Füze Krizi'nde dünya nükleer savaşın eşiğinden döndükten sonra, 1963'te kurulmuştu. Bugün ABD ve Çin yapay zeka gelişiminde hız limitinin ne olması gerektiği konusunda anlaşamıyor olabilir. Ama en azından kaza olduğunda birbirlerine haber verebilecekleri bir sinyalizasyon sistemi üzerinde anlaşabilirler.