Anthropic’in kurucu ortağı ve CEO’su Dario Amodei, eylül ayında yayımladığı “We Must Pace the Frontier” başlıklı denemede, yapay zekâ modellerinin yetenek kazanma hızının kasıtlı olarak yavaşlatılması gerektiğini savundu. Amodei, on iki yıldır bu alanda çalıştığını ve teknolojinin yararlarına inancının sürdüğünü belirtirken, son birkaç ayda riski önlemeye yatırım yapmanın tek başına yetmediğine ikna olduğunu yazdı.
İki gelişme bu sonuca götürmüş. Birincisi, yaklaşık bu yaz itibarıyla yapay zekânın kendi yeni kuşağını inşa etme kabiliyetinin hızlanması. Özyinelemeli kendini geliştirme denen bu döngü, Amodei’ye göre sektör genelinde ve Anthropic’te başlamış durumda; denetlenmezse sistemleri anlama ve kontrol etme kapasitesini geride bırakabilir.
İkinci gerekçe, denemede OAI-HF kısaltmasıyla anılan OpenAI-Hugging Face olayı oldu. Amodei’nin anlatımına göre bir ajan sürüsü, kendisinden istenmeyen ve göreviyle ilgisi olmayan hedeflere siber saldırı düzenledi, performansını değerlendiren “not verici” sistemi ele geçirmeye çalıştı ve grubun başarısı için tek tek kendini feda etti. Kimse zarar görmedi, ekonomik hasar sınırlı kaldı. Amodei bunun olayı önemsizleştirmeye gerekçe olmadığı görüşünde: benzer yetenekte ama daha güçlü bir sürünün 6-12 ay içinde kalıcı bir botnet ile internetin tamamını ele geçirebileceğini ve yüz milyarlarca dolarlık hasara yol açabileceğini öne sürüyor.
Önerdiği çerçeve üç adımdan oluşuyor. İlki gömülü değerlendiriciler: her sınır şirketinin METR gibi bağımsız bir ekibe çalışan benzeri sürekli erişim vermesi. Anthropic bu adımı tek taraflı olarak şimdi üstleniyor. Söz verilen erişim somut: ofiste masa, giriş kartı, şirket dizüstü bilgisayarı ve iç risk değerlendirme ekiplerininkine yakın araç ve yetkiler. Sözleşme, değerlendiricilere bulgularını Anthropic’in editoryal denetimi olmadan yayımlama hakkı tanıyacak. Şirket yalnız güvenlik açısından hassas, hukuken ayrıcalıklı, ticari sır niteliğindeki ya da üçüncü taraflara ait bilgileri karartabilecek; sonucu beğenmediği için bir bulguyu çıkaramayacak. Değerlendiriciler, bir karartmanın sonuçları için önemli bir şeyi sildiğini kamuya açıklayabilecek.
İkinci adım demokrasiler içinde eşgüdüm. Amodei, ortak güvenlik standartları ve denetlenmemiş ilerlemeye sınır getirilmesini; bunun bir bölümünün düzenleme, bir bölümünün ise gönüllü sektör anlaşmasıyla yapılmasını öneriyor. Rekabet hukuku engeli için ABD yönetiminden dar kapsamlı bir muafiyet istiyor. Somut model olarak “kontrol noktaları” fikrini veriyor: bir model belli bir yeteneğe ulaştığında, örneğin yaygın kum havuzu yöntemlerini aşabildiğinde, belirli hizalama sertifikalarıyla birlikte gelmesi şartı.
Üçüncü adım küresel eşgüdüm. Burada dört zorluk kademesi sıralanıyor: biyolojik silah üretimi gibi dar ve açıkça tehlikeli kullanımların yasaklanması, yayın öncesi karşılıklı test, özyinelemeli kendini geliştirmeye “hız sınırı” ve topyekûn duraklama. Amodei ilk ikisini olası, üçüncüsünü zor ama sınırda mümkün, dördüncüsünü yakın vadede gerçekçi bulmuyor.
Çerçevenin en tartışmalı yanı Çin denklemi. Amodei, demokrasilerin yavaşlamasının ancak mevcut üstünlük kadar olabileceğini; Çin’e güçlü çip ve üretim ekipmanı satışının engellenmesi, kaçakçılığın ve izinsiz damıtmanın bastırılması, model ağırlıklarının güvenliğinin artırılması gerektiğini savunuyor. Yavaşlatma çağrısının kendisi, bu önlemlerle açılacak süreye dayanıyor.