Çoklu yapay zekâ orkestrasyonu: tek istek, birçok model

Orkestrasyon tam olarak ne yapar?

Bir sohbet penceresine soru yazdığınızda tek bir model, tek seferde cevap verir. Küçük işler için bu yeter. İş büyüdüğünde, örneğin “Rakiplerimizin son üç yıldaki fiyat politikasını karşılaştıran bir rapor hazırla” dediğinizde tek cevap yetmez. Araştırma, okuma, hesaplama, yazma ve kontrol ayrı işlerdir.

Orkestrasyon bu işleri sıraya koyan katmandır. İsteği parçalara ayırır, her parçayı bir modele ya da araca verir, sonuçları toplar ve birbirine bağlar. Siz yine tek cümle yazarsınız. Arkada küçük bir ekip gibi çalışan bir düzen işler.

Bir istek sistemde nasıl ilerler?

Planı görüp değiştirmek isteyebilirsiniz. İsterseniz pahalı adımları onayınıza bağlarız.

• Plan: sistem isteği adımlara böler ve hangi adımın hangi modelle yapılacağını yazar.
• Maliyet: çalışmaya başlamadan önce tahmini tutarı ve süreyi gösterir.
• Yürütme: adımlar sırayla ya da aynı anda çalışır, her birinin çıktısı bir sonrakine aktarılır.
• Doğrulama: metindeki iddialar kaynaklarla tek tek karşılaştırılır, karşılığı bulunmayan iddia işaretlenir.
• Teslim: bitmiş iş, kullanılan kaynakların listesiyle birlikte önünüze gelir.

Neden tek model değil?

Modeller birbirinden belirgin biçimde ayrılır. Biri uzun belgeleri iyi okur ama pahalıdır. Bir başkası hızlı ve ucuzdur, basit sınıflandırmada gayet iyi iş çıkarır. Kimi Türkçede güçlüdür, kimi kodda. Bazı veriler de kurum dışına çıkmamalıdır, o adım sizin donanımınızda çalışan açık kaynak bir modele gider.

Bütün işi en pahalı modele vermek faturayı şişirir. Hepsini en ucuza vermek kaliteyi düşürür. Çoklu yapay zekâ düzeninde her adım, o adım için yeterli olan modele gider. Bir modelin yazdığını bir başkasına denetletmek de böyle mümkün olur.

Maliyeti iş bitmeden görmek

Yapay zekâ modelleri kullanıma göre ücretlendirilir. Çok adımlı bir işte bu tutar kimse fark etmeden büyüyebilir. Bu yüzden sistem planı çıkarırken her adımın tahmini maliyetini hesaplar ve toplamı size gösterir.

Bir üst sınır da belirlenebilir. İş o sınıra yaklaştığında sistem durur ve sorar. Tahmin kesin fatura değildir, çünkü bir modelin ne kadar yazacağı önceden tam bilinemez. Yine de sürprizi büyük ölçüde azaltır.

Doğrulama neyi çözer, neyi çözmez?

Dil modelleri kendinden emin bir dille yanlış bilgi yazabilir. Olmayan bir kaynağı var gibi gösterebilir. Bu yüzden teslimden önce bir doğrulama adımı çalışır: metindeki her iddia, dayandığı kaynakla karşılaştırılır. Kaynakta karşılığı yoksa iddia çıkarılır ya da açıkça işaretlenir.

Sınırı da söyleyelim. Doğrulama, iddianın kaynakta yazıp yazmadığını kontrol eder. Kaynağın kendisi yanlışsa bunu yakalayamaz. Hukuk, sağlık ya da finans gibi alanlarda son okumayı konuyu bilen bir insanın yapması gerekir.

Kimler için uygun?

Günde birkaç soru soran biri için bu kadar altyapı fazladır, hazır bir sohbet aracı işini görür. Sistemi sizin bilgisayarınıza, sunucunuza ya da buluta kurarız. Farklı modellerle çalışma deneyimimizin bir örneği kendi ürünümüz Promtexpress: 60’tan fazla yapay zekâ motoru için kullanıma hazır prompt üretiyor.

• Düzenli olarak araştırma raporu, pazar analizi ya da teklif dosyası hazırlayan ekipler.
• Yüzlerce belgeyi okuyup özetlemesi ve karşılaştırması gereken hukuk ve danışmanlık büroları.
• Kendi ürününe çok adımlı bir yapay zekâ özelliği eklemek isteyen yazılım şirketleri.
• Birkaç yapay zekâ aboneliği arasında kopyala yapıştır yaparak çalışan içerik ekipleri.