Anthropic, sınır modellerinin bağımsız değerlendirmesi için 18 Eylül’de Accenture ile ortaklık kurdu; iki şirket Anthropic’in iç ekiplerinin yanında çalışacak bir gömülü değerlendirici kadrosu kuracak.
Kadro modelleri değerlendirecek ve kırmızı takım çalışmaları yürütecek, hizalama değerlendirmeleri yapacak ve model koruma önlemlerini test edecek. Ekip Anthropic’in iç güvenlik ekipleriyle birlikte çalışacak. Ortaklığı Accenture’ın yapay zekâ birimi Faculty yönetecek.
İki şirket bu alanda kapasite kurmak için önümüzdeki beş yılda en az 1’er milyar dolar yatırım yapmayı öngörüyor.
Faculty, Accenture’ın satın aldığı uygulamalı yapay zekâ şirketlerinden biri. Accenture, Faculty’nin dünyanın önde gelen yapay zekâ laboratuvarları için model test ettiğini ve çalışmalarının sağlık, savunma ve altyapı alanlarına yayıldığını belirtiyor. Ekip, COVID-19 salgını sırasında Birleşik Krallık Ulusal Sağlık Servisi için erken uyarı sistemi geliştirmişti.
Accenture yönetim kurulu başkanı ve CEO’su Julie Sweet, “Güvenlik hem derin teknik uzmanlık hem de yapay zekânın sahada nasıl kullanıldığının anlaşılmasını gerektiriyor” dedi. Sweet, gömülü değerlendirmenin gelişmekte olan bir alan olduğunu ekledi.
Anthropic, ortaklığın CEO Dario Amodei’nin “We Must Pace the Frontier” başlıklı yazısındaki taahhüde dayandığını belirtiyor: değerlendiricileri şirketin içine yerleştirmek.
CNBC’nin aktardığına göre Amodei yazısında yapay zekâ gelişimini yavaşlatmak için üç adımlı bir plan öneriyor; gömülü değerlendiriciler bu planın ilk adımı.
Gömülü değerlendirme bugünkü dış değerlendirme modelinden ayrılıyor. Bu ekipler şirketin içinde, çalışanla karşılaştırılabilir bir erişimle çalışıyor. Bu erişim, modellerin eğitim sırasında nasıl şekillendiğini izlemelerine, geliştirme kararlarını takip etmelerine ve çalışanlarla doğrudan konuşmalarına imkân veriyor. Anthropic, bu erişimin çalışan düzeyinde olduğunu belirtiyor.
Anthropic’e göre gömülü değerlendiriciler şirketin güvenlik taahhütlerini tutup tutmadığını doğrulayabilir, kör noktaları bulabilir ve olayları bildirebilir. Şirket, bu yapının hesap verebilirliği azaltmadığını, doğrulanabilir hâle getirdiğini savunuyor.
Ortaklığın yöntem ayrıntıları henüz netleşmedi. Anthropic, gömülü değerlendirmenin yeni bir alan olduğunu ve işleyişe dair birçok ayrıntının çalışılmaya devam ettiğini belirtiyor. Hangi modellerin kapsama gireceği ve sonuçların nasıl yayımlanacağı açıklanmadı.
Anthropic eylül ayında Claude’u güdümlü roket yazılımı geliştirmek için kullanan bir hücreyi kapattığını açıklamıştı. Şirket, tehdit raporunda bu tür kullanımlara karşı önlemlerini anlattı. Şirket, tehdit raporunda kötüye kullanımın 2025’teki raporlara göre nasıl değiştiğini de anlattı.
Şirketin kendi verilerine göre Claude, Anthropic’in Ar-Ge işlerinin yüzde 26’sını yönetiyor. Gömülü değerlendiricilerin bu tür geliştirme süreçlerini de izleyebilmesi bekleniyor.
Anthropic, değerlendirme sonuçlarının nasıl yayımlanacağına ve kadronun ne zaman işe başlayacağına dair bir takvim paylaşmadı.