Yapay zekâda birim fiyat düşüyor, fatura büyüyor. Gartner'ın yeni araştırmasına göre token maliyetleri 2030'a kadar yüzde 95 gerileyecek; buna karşılık ajan iş akışlarının çıkarım maliyeti önümüzdeki iki yılda beş kattan fazla artacak. Firma bu makası "çıkarım paradoksu" diye adlandırıyor.
Ucuzlayan token, büyüyen fatura
Mantık basit. Model fiyatları düştükçe kurumlar daha karmaşık uygulamalar kuruyor ve bu uygulamalar çok daha fazla token tüketiyor. Gartner analistleri Will Sommer ve Sabine Zimmerhansl'a göre "inovasyon hızı maliyet eğrisini geride bırakıyor" ve pazar bir "token deflasyonu illüzyonuna" kapılmış durumda. Alıcılar, sağlayıcıların token ekonomisini iyileştirmesinin kendi yol haritalarına tasarruf olarak yansıyacağını varsayıyor. Rapor bunu tek cümleyle reddediyor: yansımayacak.
Fark, sohbet robotuyla ajan arasındaki yapısal ayrımdan geliyor. Basit bir sohbet robotu isteği okuyup makul bir yanıt üretiyor. Ajan ise sürekli akıl yürütmek, kendini sorgulamak, hata durumunda planını değiştirmek ve sonucunu insan denetimi olmadan doğrulamak zorunda. Üstelik arka planda kesintisiz çalışıyor ve başka ajanlarla konuşuyor.
Rakamlar ne söylüyor
Gartner'ın ölçümleri farkı somutlaştırıyor. Akıl yürütebilen gelişmiş ajanlar tek bir görevde basit sohbet robotlarına kıyasla 150 kata kadar daha pahalıya mal olabiliyor. Ajan çıkarım maliyetleri 5 kat yüksek; aynı işi yapmak için gereken token miktarı 5 ila 30 kat fazla. Gelişmiş akıl yürütme yeteneği olan orta ölçekli ajan modellerinin eğitim donanım maliyeti ise benzer büyüklükteki basit sohbet robotlarının 2,5 katı.
Firma senaryoları test etmek için bir tokenomik modeli kurdu ve 12 farklı model tipini çalıştırdı. Temel iş akışları çıkarım başına yaklaşık 0,05 dolar, özetleme ve bilgi erişimi 0,10 dolar, karmaşık iş akışları 0,30 dolar, planlama ve öğrenme ise 0,40 dolar civarında maliyet üretti. Yani planlama görevlerinin sağlayıcı maliyeti temel iş akışlarının 8 ila 10 katı.
Gartner'ın önerisi mimari tarafında. Sorguyu işi yapabilecek en ucuz modele yönlendiren "çıkarım katmanlaması" ve orkestrasyon farklılaştırıcı olacak; ajanların basit görevler için öncü modelleri varsayılan olarak çağırması engellenmeli. Sabit ücret yerine kullanıma dayalı kademeli fiyatlandırma, sürekli yenileme döngüsü ve dağıtım öncesi tanımlanmış başarı eşikleri diğer maddeler. Firmanın kendi öngörüsü de tabloyu tamamlıyor: kurumların yüzde 40'ı ajanları geri çekecek ya da devreden çıkaracak. Ucuz token, pahalı mimariyi kurtarmıyor.
Gartner ayrıca 2028'e kadar kurumsal yapay zekâ uygulamalarının önemli bir kısmının çok adımlı ajan iş akışlarına bağlanacağını öngörüyor. Aynı dönemde ajan çıkarım maliyetinin beş katına çıkması, satın alma birim fiyatına bakarak bütçe kuran kurumları ilk çeyrekte sapmaya açık hale getiriyor. Doğru birim, görev başına toplam token, çağrı ve araç maliyeti.