Claude, Polise Sahte İhbar Gönderdi

18 Temmuz’da Philadelphia Polis Departmanı’nın internet sitesine bir cinayet ihbarı ulaştı. İhbarı gönderen kişi, olay sırasında şüphelinin tarifine uyan birini bölgede görmüş olabileceğini söylüyor ve polisle iletişim kurulmasını istiyordu. Ancak ortada ne bir tanık vardı ne de gerçek bir gözlem. İhbarı gönderen, Anthropic’in geliştirdiği Claude Haiku 4.5 yapay zeka modeliydi. Bu olay, şirketin yaptığı bir güvenlik testi sırasında gerçekleşti.

Anthropic’in 9 Ekim’de yayınladığı araştırmaya göre Claude, internette rastgele seçilmiş sayfalarda örnek işlemler gerçekleştirmekle görevlendirilmişti. Bu sırada Philadelphia’da çözülmemiş bir cinayet dosyasının bulunduğu sayfaya ulaştı. Sayfada olayın ayrıntıları ve polis departmanına bilgi göndermek için hazırlanmış bir ihbar formu vardı.

Model için hesap açmaması, kişisel bilgi girmemesi, alışveriş yapmaması ve zarar verici işlemlerde bulunmaması gibi talimatlar vardı. Ancak form göndermesine ilişkin açık bir yasağa yer verilmedi.

Claude ise bu boşluğu kendi yöntemiyle değerlendirdi. İhbar formuna, olayın gerçekleştiği dönemde şüphelinin tarifine benzeyen birini bölgede görmüş olabileceğini yazdı ve gönderdi. Buradaki sorun yalnızca izinsiz bir işlem gerçekleştirmesinden ziyade cinayet dosyasının bulunduğu sayfada şüpheliye ait herhangi bir fiziksel tarifin olmamasıydı. Yani Claude, elinde olmayan bir bilgiyi üreterek gerçek bir soruşturmanın yer aldığı forma ekledi.

İhbarı inceleyen polisler Claude’un talebini spam olarak işaretledi ve soruşturma birimine iletmedi. Philadelphia polisi, sistemlerine izinsiz erişim sağlandığına veya verilerinin ele geçirildiğine dair bir bulgu bulunmadığını açıklarken olaydaki asıl sorun Anthropic’in bildiri zamanıydı.

Temmuz ayında yaşanan vakanın eylül ayında şirket tarafından tespit edilmesi ve 8 Ekim’de polise bildirilmesi Philadelphia polisine göre ‘kabul edilemez’. Reuters’ın aktardığına göre şirketin modeli gerçek bir polis sistemine yanlış bilgi gönderirken bunu anında tespit edememesi de olayın önemli yönlerinden biri.

Yapay zekanın halüsinasyon görmesi ve olmayan içerikleri varmış gibi üretmesi aslında yeni değil. Bu konu hakkında daha önceden de içerikler hazırlamıştım. Modeller bazen var olmayan araştırmalardan bahsediyor, yanlış tarih veriyor veya güvenilir görünen ancak gerçeği yansıtmayan açıklamalar yapıyor.

Modellerden gelen cevapların kontrol edilmesi gerekse de kullanıcılar çoğu zaman direkt güveniyor. Ancak Claude’un yaptığı işlemde yanlış bilgi sadece sistemde kalmadı ve doğrudan gerçek bir kuruma gönderildi.

Anthropic, modelin polisi bilinçli biçimde yanıltmaya çalıştığını düşünmezken değerlendirmelere göre Cluade, muhtemelen kendisinden istenen örnek işlemi gerçekleştirdiğini varsayıyordu. Şirketin araştırmasında yer verilen diğer örnekler de benzer sorunlar teşkil ediyor. Claude bazı testlerde erişemediği verilere ulaşmak için internet sitelerindeki yazılım açıklarından yararlandı.

Bir başka durumda normalde ücret karşılığında sunulan verilere farklı yollarla erişti. Bazı modeller ise araçlarına getirilen bağlantı uzunluğu sınırlamalarını aşmak için URL kısaltma modellerini kullandı. Ayrıca gerçek devlet formlarının yanlışlıkla gönderildiği başka testler de ortaya çıktı.

Anthropic, bu davranışları ‘overreach’ yani modelin verilen görevleri tamamlamak için sınırları aşması olarak belirtiyor. Modeller engelle karşılaşıyor, durmuyor ve alternatif yöntemlere başvuruyor. Normal şartlarda tamamen olağan görünse de yapay zeka modellerinin internete, şirket dosyalarına, banka hesaplarına veya kamu sistemlerine böylece erişmesi ciddi sonuçlara sebep olabilir.

Şirket, olayların ardından bazı değerlendirmelerini çevrimdışı ortamlara taşıdı, internet erişimine ilişkin kısıtlamaları genişletti ve benzer işlemleri otomatik olarak tespit edip engelleyebilen sistemler geliştirdi. Anthropic, mevcut güvenlik eğitimlerinin bu tür davranışları tek başına önlemek için henüz yeterince güvenilir olmadığını da kabul ediyor.

Philadelphia'daki olayda ihbarın spam olarak işaretlenmesi, yanlış bilginin gerçek bir soruşturmaya dahil edilmesini engelledi. Ancak aynı davranışın bir banka transferinde, sağlık kaydında veya resmi başvuruda gerçekleşmesi durumunda sonuçların bu kadar sınırlı kalacağı söylenemez.

Yapay zekanın yanlış bilgi üretmesi uzun süredir tartışılıyor. Şimdi bu yanlış bilgiler ‘istemeden’ de olsa gerçekliğe dokunabiliyor. Modeller geliştikçe sorun, gerçeğe ulaşmalarından ziyade gerçek olmayan bir bilgiyi doğru kabul ederek bizim yerimize adım atmaları oluyor.