Yöntem
Basiro, yapay zekânın bir marka hakkında söylediklerini nasıl ölçer
Basiro'nun gösterdiği her rakamın kaç cevaba dayandığı, ne kadar kesin olduğu ve cevapların kendisi açıktır. Bu sayfa yöntemi anlatır; ürünün içinde her rakam arkasındaki cevaplara bağlanır.
Yöntem
- Sorular: müşterilerinizin sorduğu sorular; pazar, müşteri tipi ve dile göre. Yapay zekâlara yalnız bu sorular gider, müşteri verisi asla gitmez.
- Yapay zekâ asistanları: her soru insanların kullandığı asistanlara (ChatGPT, Google AI Overviews ve AI Mode, Gemini, Claude, Perplexity, Copilot ve diğerleri) web araması açık olarak, bir müşterinin soracağı gibi sorulur.
- Örnekler: asistanlar her seferinde farklı cevap verir; bu yüzden her soru her asistana planınıza göre bir ya da birkaç kez sorulur (kaç kez sorulduğu yukarıda yazar). Oran, sizi anan cevapların tüm gerçek cevaplara bölümüdür.
- Geri sorular: kullanıcıya soru soran ya da boş dönen yanıt cevap değildir. Saklanır ve gösterilir ama asla "anılmadı" sayılmaz.
- Okuma: anılıp anılmadığınız, sıranız, ton, rakipler ve iddialar başka bir yapay zekâ ile değil, sabit kurallarla okunur; aynı cevap her zaman aynı okunur. Sizinle aynı adı taşıyan başka bir işletme sayılmaz.
- Aralıklar: her oranın %95 aralığı (Wilson) vardır. Aynı soruya verilen tekrar cevaplar birbirine bağlıdır; bu yüzden aralık, oranın sorudan soruya ne kadar değiştiğine göre genişletilir: en kötü durumda her soru tek bir cevap sayılır.
Bir rakam kaç cevap ister
%50 civarındaki bir oranda n cevap, yaklaşık şu kadar puan artı eksi kesinlik verir:
- 30 cevap: ± 18 puan
- 100 cevap: ± 10 puan
- 400 cevap: ± 5 puan
- 1000 cevap: ± 3 puan
20'de 19 ile 200'de 190 ikisi de %95'tir. Yalnız ikincisi kanıttır: aralığı %91–%97, birincininki %76–%99.
API ve ekran
API'den gelen cevap ile bir kişinin asistanın kendi ekranında gördüğü farklı olabilir: ekran kendi varsayılanlarını, konumu ve ürün kartlarını ekler. İkisini de yakaladığımız yerde farkı gösteriyoruz.
Cevapları ne kadar doğru okuyoruz
Okumayı, doğru cevabı elle işaretlenmiş örnek cevaplarla sınıyoruz: ürünün kullandığı okumanın aynısını bu örneklerde çalıştırıp karşılaştırıyoruz. Bu her sürümde çalışır; bir öncekinden kötü okuyan sürüm durdurulur.
Şimdiye kadar 46 test cevabının 0 tanesi insanlar tarafından etiketlendi. Gerisi okumanın çalıştığını sınayan elle yazılmış örnekler; gerçek cevaplar için henüz kanıt değil. Hedefimiz her dilde en az 100 etiketli gerçek cevap.
| Okunan | Arapça | Türkçe | İngilizce |
|---|---|---|---|
| Marka anıldı | %100%80,6–%100 · n = 16 | %100%79,6–%100 · n = 15 | %100%79,6–%100 · n = 15 |
| Adaş işletme (F1) | %100n = 1 | %100n = 1 | %100n = 1 |
| Sıra | %100%74,1–%100 · n = 11 | %100%74,1–%100 · n = 11 | %100%74,1–%100 · n = 11 |
| Ton | %100%74,1–%100 · n = 11 | %100%74,1–%100 · n = 11 | %100%74,1–%100 · n = 11 |
| Anılan rakipler (F1) | %100n = 4 | %100n = 4 | %100n = 7 |
| Bulunan iddialar (F1) | %100n = 5 | %100n = 7 | %100n = 8 |
| İddia kararları | %100%56,6–%100 · n = 5 | %100%64,6–%100 · n = 7 | %100%67,6–%100 · n = 8 |
| Cevap mı, geri soru mu | %100%80,6–%100 · n = 16 | %100%79,6–%100 · n = 15 | %100%79,6–%100 · n = 15 |
F1 bulunanı ve kaçırılanı birlikte ölçer; n etiketlerdeki öğe sayısıdır. Oranlar %95 aralıkla verilir.
Ölçüm sağlığı
Her markanın bir ölçüm sağlığı ekranı vardır: son 24 saatte hangi yapay zekâ cevap verdi, hangisi kredi, günlük kota ya da hata yüzünden durdu, her biri en son ne zaman cevap verdi. Boş bir ekran her zaman sebebini söyler.