Microsoft CEO’su Satya Nadella, 10 Ekim’de kişisel blogunda yayımladığı ve X hesabından paylaştığı yazıda kurumlara yeni bir güven mimarisi öneriyor. Yazı tek cümlelik bir öneri kuruyor: sınır modelleri, ister kapalı ister açık ağırlıklı olsun, kurum içindeki içeriden tehdit gibi yönetilmeli. Nadella bunu modellerin kötü niyetli olduğu için değil, önemli sistemlere erişen yeterince yetenekli her aktörün hata yapabileceği ya da ele geçirilebileceği için savunuyor.
Nadella argümanına izlenebilirlikten başlıyor. Nadella, geleneksel yazılımda bir davranışın hangi kod yoluna ait olduğunun izlenebildiğini, bugünün sistemlerinde ise bunun mümkün olmadığını yazıyor. Model davranışları ve çıktıları ne belirli eğitim verisine ne de ağırlık yapılandırmasına bağlanabiliyor. Buna rağmen bu sistemler en hassas verilere erişimle ve kurum adına kritik işlem yapma yetkisiyle devreye alınıyor.
Yazının merkezindeki ayrım zekânın arzı ile o zekâ üzerindeki yetkinin ayrılması. Nadella, hizalama sorununu bir kenara bırakıp mühendislik tarafından başlamayı öneriyor: belirlenimci olmayan modellerin etrafını güçlü ve belirlenimci sistem tasarımı, insan kontrolleri ve işletim yordamlarıyla çevirmek. Buradaki kilit madde, modelin neye erişebileceğini ve hangi eylemi yapabileceğini belirleyen denetimlerin modelin dışında durması. Nadella bunu 1970’lere uzanan bir bilgi güvenliği ilkesine bağlıyor: bir program, kendi izinlerini uygulayan mekanizmayı atlayamaz ya da kurcalayamaz.
Yazıda kurumsal dünyanın bu işi zaten bildiği hatırlatılıyor. Kimlik tanımlama, yetki sınırlama, etkinlik kaydı ve kuşatma sınırları oluşturma onlarca yıldır uygulanan pratikler. Nadella, modelin düşünce zinciri şeffaflığını pazarlığa kapalı sayıyor ve “neuralese” denen içsel temsillerin modelin akıl yürütmesinin kapalı kalmasına gerekçe olamayacağını söylüyor. Ancak şeffaflığı tek başına yeterli görmüyor; modelleri birbirini sınamak için kullanmanın da kapalı bir modeli kapalı bir düzenleme katmanının içine koyup başka bir kapalı modele izletmekle sonuçlanabileceğini yazıyor.
Önerilen mimari yedi ilkeye dayanıyor. Model çeşitliliği, tek bir modelin önemli bir sonucun tek bağımlılığı olmasını ve kendi işini doğrulamasını engelliyor. Her anlamlı model eylemi kurcalanamaz ve insan tarafından okunabilir kanıt bırakmalı; doğrulanabilirlik yalnız başarılı görevleri değil hataları, saldırıları ve uç durumları da kapsamalı. Kurumlar modelin erişimini ve eylem alanını bağımsız biçimde belirleyebilmeli, doğrulama da doğrulanan zekâdan bağımsız olmalı.
Listenin en somut iki maddesi kuşatma ve olay ifşası oldu. Nadella modelin baştan ele geçirilmiş sayılmasını ve bir acil durum freni kurulmasını istiyor: yetkili bir kişi modeli görev ortasında durdurabilmeli ya da kapatabilmeli. Arıza ya da ihlal durumunda etkilenenlere zamanında bilgi verilmesini, hangi denetimin çöktüğünün ve tekrarının nasıl engellendiğinin sektörle paylaşılmasını öneriyor.
Yazı bir ürün duyurusu değil, Microsoft’un uyacağını taahhüt ettiği bir standart da değil. Nadella hangi denetimin Microsoft ürünlerinde ne zaman zorunlu olacağına, acil durum freninin teknik karşılığına ve sektör standardının hangi kurumda yazılacağına dair bir takvim vermiyor. Yazının kapanışı ise şirketin kendi satış konuşmasının tersini söylüyor: en güvenilir sistem, en çok güvendiğimiz modele sahip olan değil, modele en az güvenmemizi sağlayan sistem olacak. Paylaşım X’te 7 milyonun üzerinde görüntülendi.