Yapay zekâ modelleri karşılaştırma rehberi: neden tek model yetmez

“Hangi yapay zekâ en iyisi?” çoğu kişinin ilk sorusudur. Dürüst cevap can sıkıcı: işe göre değişir. Bugün verilen bir sıralama birkaç ay sonra eskimiş olur, çünkü sağlayıcılar yeni modelleri art arda çıkarıyor. Bu yazıda model adı sayıp birinci ilan etmeyeceğiz. Onun yerine bir yapay zekâ modelleri karşılaştırması yaparken hangi ölçütlere bakmanız gerektiğini ve birden fazla modeli birlikte kullanmanın neden pratik bir çözüm olduğunu anlatacağız.

En iyi yapay zekâ modelleri neden sürekli değişiyor?

Karşılaştırma tabloları çoğunlukla ölçüm testlerine, yani benchmark sonuçlarına dayanır. Bu testler belirli soru kümelerinde modelin kaç doğru yaptığını ölçer. Yararlıdır ama sizin işinizi ölçmez. Matematik testinde birinci olan bir model, Türkçe bir sözleşmeyi özetlerken ortalama kalabilir.

İkinci sebep hız. Sağlayıcılar modellerini sık sık yeniler, fiyatlarını değiştirir, eski sürümleri kapatır. Geçen yıl okuduğunuz bir liste bugün büyük ihtimalle geçerli değildir. Bu yüzden sıralamaya değil ölçütlere bakmak daha uzun süre işe yarar.

Testlerin çoğu İngilizce hazırlanır. Türkçe çalışan biri için İngilizce bir sınavın sonucu ancak dolaylı bir bilgidir.

Modelleri ayıran altı ölçüt

• Maliyet: modeller okudukları ve yazdıkları metin miktarına göre ücretlendirilir. Aynı iş için modeller arasındaki fark birkaç kat olabilir.
• Hız: cevabın ne kadar çabuk geldiği. Müşteriyle canlı konuşan bir sistemde belirleyicidir, gece çalışan bir raporda pek önemi yoktur.
• Görevdeki doğruluk: genel puan yerine sizin işinizdeki başarı. Kod, hesap, özet ve çeviri ayrı becerilerdir.
• Bağlam boyutu: modelin tek seferde okuyabildiği metin miktarı. Yüz sayfalık bir dosyayı her model bir kerede alamaz.
• Gizlilik ve çalıştığı yer: bulut modellerinde veri sağlayıcının sunucusuna gider. Açık kaynak modeller kendi donanımınızda çalışabilir.
• Dil kalitesi: çoğu model İngilizcede daha iyidir. Türkçe yazım, ek kullanımı ve ton modelden modele belirgin biçimde değişir.

Kendi karşılaştırmanızı nasıl yaparsınız?

En sağlam yöntem, kendi işinizden örneklerle denemektir. Gerçek işinizden on ya da yirmi örnek seçin: müşteri e-postaları, sözleşme maddeleri, ürün açıklamaları. Aynı talimatı birkaç modele verin ve çıktıları yan yana koyun.

Değerlendirirken model adlarını kapatın. Hangi cevabın hangi modelden geldiğini bilmeyen biri daha adil puan verir. Yanına süreyi ve maliyeti de not edin. Bazı işlerde en pahalı model ile orta sınıf bir model arasındaki farkın ödenen paraya değmediğini görebilirsiniz.

Bu denemeyi bir kez yapıp bırakmayın. Yeni bir model çıktığında aynı örnekleri ona da verin. Elinizde hazır bir deneme seti olması, her yeni duyuruda sıfırdan düşünmekten kurtarır.

Çoklu yapay zekâ: işi modellere paylaştırmak

Ölçütlere bakınca şu ortaya çıkar: hiçbir model altısında birden birinci değil. Hızlı olan sığ kalabilir, derin olan pahalıdır, gizlilik isteyen iş kendi donanımınıza sığan daha küçük bir modelle yetinmek zorundadır. Tek modele bağlanmak, bu ödünlerden birini her iş için kabul etmek demektir.

Çoklu yapay zekâ yaklaşımında iş parçalara ayrılır. Gelen e-postayı sınıflandırmak ucuz ve hızlı bir modele gider. Uzun bir sözleşmeyi okumak geniş bağlamlı bir modele gider. Kişisel veri içeren adım kurum içinde çalışan modele gider. Sonunda bir model, diğerinin yazdığını kontrol eder.

Bir örnek verelim. Bir danışmanlık şirketi yüz sayfalık bir dosyadan yönetici özeti istiyor. Dosyayı okuma işi geniş bağlamlı modele verilir. Özetin Türkçesini düzeltmek, bu dilde iyi yazan başka bir modele bırakılır. Müşteri adlarının geçtiği bölümler şirket içindeki modelde kalır.

Bu dağıtımı yapan katmana orkestrasyon denir. Hangi adımın hangi modele gideceğine, çıktının nereye aktarılacağına ve bir adım başarısız olursa ne yapılacağına o karar verir.

Birden çok model kullanmanın bedeli

Bu yaklaşımın da maliyeti var. Her model ayrı bir hesap, ayrı bir fatura ve ayrı bir kullanım koşulu demektir. Modeller aynı talimata farklı tepki verir, bu yüzden talimatları her biri için ayrı ayarlamak gerekir.

Hata ayıklamak da zorlaşır. Sonuç yanlış çıktığında sorunun hangi adımda başladığını bulmak için her adımın kaydını tutmanız gerekir. Küçük ve tekrarlanmayan işlerde bu emek karşılığını vermez. Günde birkaç soru soruyorsanız tek bir iyi model yeter.

Sağlayıcı sayısı arttıkça takip edilecek değişiklik de artar. Biri fiyatını günceller, öteki eski bir sürümü kapatır. Bu değişiklikleri izleyecek birine ihtiyaç olur.

Hangi durumda hangi yol?

• Tek model yeter: işler kısa, birbirine benzer ve veri hassas değilse.
• İki model mantıklı: ucuz bir model işin çoğunu yapıyor, zor kalanlar güçlü modele gidiyorsa.
• Orkestrasyon gerekir: iş çok adımlıysa, farklı beceriler istiyorsa ve çıktının kaynaklarla doğrulanması şartsa.
• Yerel model gerekir: veri kurum dışına çıkamıyorsa. Bu durumda donanım yatırımını hesaba katın.

Model seçimi bir kez verilip unutulan bir karar olmaktan çıktı. Ölçütlerinizi ve deneme setinizi elinizde tutarsanız, yeni bir model çıktığında çabuk karar verirsiniz. Bu düzeni kendi işinize kurmak isterseniz Webitro olarak çok modelli orkestrasyon sistemleri geliştiriyoruz.