Asistan uygulamanı anıyor mu?

01Mağaza sırası bu soruyu neden cevaplamıyor

Mağaza araması ile asistanın cevabı farklı mekanizmalardan çıkıyor. Mağaza sırası; metadatan, indirme hızın ve puanların üzerine kurulu bir indeksten geliyor. Asistanın cevabı ise uygulaman hakkında yazılmış olandan — yorumlar, derleme yazıları, forum başlıkları, kendi siten — modele sıkıştırılmış hâliyle, bazen üstüne canlı arama eklenerek.

Pratik sonucu şu: mağazada birinci olup cevapta hiç geçmeyebilirsin, tersi de oluyor. Mağaza sayfası zayıf ama lansman yazısı çok atıf almış bir uygulama üç asistanda birden anılıp sırada 40. olabiliyor.

02Dürüstçe nasıl ölçülür

1. İnsanın soracağı soruyu sor

"filanca iyi mi" değil — o soru evet cevabını davet ediyor. Ölçülebilir biçim açık uçlu olan: X için en iyi uygulama hangisi, ve X mağazada zaten izlediğin bir terim. Soruları kendi izlediğin kelimelerden türetmek soru kümesini küçük ve alakalı tutuyor; binlerce niyetten oluşan bir taksonomi çoğu uygulama için geçerli değil.

2. Cevabı oku, sıralama isteme

Modele "uygulamam kaçıncı sırada" diye sormak onu bir sayı uydurmaya davet ediyor. Ölçülebilir olan metnin kendisi: uygulamanın adı geçiyor mu, geçen adlar arasında kaçıncı. Bir cevaptaki adları saymak, belirsiz bir çıktı üzerinde belirli bir işlem — ve bu işin güvenilebilecek tek parçası.

3. Motorların ortalamasını alma

Claude, ChatGPT ve Gemini'nin eğitim verisi, erişimi ve cevap biçimi farklı. "3'te 2 andı" diye tek skora indirgemek, tek işe yarar bilgiyi yok ediyor: hangisi seni tanımıyor. Tek sayı daha derli toplu görünür ve daha az şey söyler.

4. Ülkeyi ve tarihi yaz

Aynı soru Türkçe ve İngilizce farklı liste üretiyor, ikisi de haftalar içinde değişiyor. Pazarı ve zaman damgası olmayan bir ölçüm, ölçüm değil.

03Tek ölçüm neyi kanıtlar: pek bir şeyi değil

Model çıktıları aynı çağrılar arasında bile değişiyor. Uygulamanı üçüncü sırada gösteren tek bir koşu, üçüncü olabileceğini kanıtlıyor; genellikle öyle olduğunu değil. Bu, yöntemin dürüst sınırı ve bunu gizleyen bir araç sana gürültüyü sinyal diye satıyor.

Asıl bulgu zaman içindeki eğilim. Üç ayda hiç anılmamaktan iki motorda anılmaya geçen bir uygulama, hakkında yazılanlar konusunda gerçek bir şeyi değiştirmiş demektir. Tek okuma yalnız nereye bakmaya başlayacağını söyler.

04ChatGPT'de uygulamanın görünürlüğü nasıl kontrol edilir?

1. İzlediğin kelimeleri açık uçlu soruya çevir. "kelime için en iyi uygulama hangisi?" — mağazada zaten izlediğin her kelime için bir soru.
2. Yeni bir oturumda, pazarın dilinde sor. Hafızası açık ya da daha önce uygulamanı konuştuğun bir sohbet tarafsız bir okuma değil.
3. Dört şeyi yaz: uygulaman anılıyor mu, adlar arasında kaçıncı, yerine hangi uygulamalar anılıyor; motor, ülke ve tarih.
4. Sabit aralıkla tekrarla ve eğilimi motor başına oku. ChatGPT, Claude ve Gemini ayrı okumalar — tek bir ortalama skor değil.

Storelift bu ölçümü Studio planında Claude'da çalıştırıyor; neyi kaydettiği AI görünürlüğü sayfasında. Asistanın tarayıcısının siteni okuyup okumadığı kendi erişim günlüğünden ölçülebilir; yöntemi ChatGPT uygulama öneriyor mu sayfasında.

Devamı