المنهجية
كيف يقيس Basiro ما يقوله الذكاء الاصطناعي عن علامة تجارية
كل رقم يعرضه Basiro يأتي مع عدد الإجابات التي يستند إليها، ومدى دقته، والإجابات نفسها. تشرح هذه الصفحة المنهجية؛ وداخل المنتج يرتبط كل رقم بالإجابات التي وراءه.
المنهجية
- الأسئلة: الأسئلة التي يطرحها عملاؤك، حسب السوق ونوع العميل واللغة. تُرسل هذه الأسئلة وحدها إلى مساعدات الذكاء الاصطناعي، ولا تُرسل بيانات العملاء أبدًا.
- مساعدات الذكاء الاصطناعي: يُطرح كل سؤال على المساعدات التي يستخدمها الناس (ChatGPT وGoogle AI Overviews وAI Mode وGemini وClaude وPerplexity وCopilot وغيرها) مع تفعيل البحث في الويب، كما يسأل العميل.
- العينات: تجيب المساعدات بشكل مختلف في كل مرة، لذا يُطرح كل سؤال على كل مساعد مرة أو عدة مرات حسب خطتك (العدد مذكور في الأعلى). النسبة هي الإجابات التي تذكرك مقسومة على كل الإجابات الحقيقية.
- الأسئلة المضادة: الرد الذي يسأل المستخدم أو يأتي فارغًا ليس إجابة. نحتفظ به ونعرضه، لكن لا نحسبه أبدًا "لم يُذكر".
- القراءة: ذكرك وترتيبك والنبرة والمنافسون والادعاءات تُقرأ بقواعد ثابتة لا بذكاء اصطناعي آخر، فتُقرأ الإجابة نفسها دائمًا بالطريقة نفسها. ولا يُحتسب نشاط آخر يحمل اسمك.
- نطاقات الثقة: لكل نسبة نطاق ثقة 95% (Wilson). الإجابات المتكررة على سؤال واحد مترابطة، لذا يُوسَّع النطاق بقدر اختلاف النسبة بين الأسئلة: في أسوأ الأحوال يُعدّ كل سؤال إجابة واحدة.
كم إجابة يحتاج الرقم
لنسبة قريبة من 50%، تعطي n إجابة رقمًا دقيقًا بنحو هذا العدد من النقاط زيادةً أو نقصًا:
- 30 إجابة: ± 18 نقطة
- 100 إجابة: ± 10 نقطة
- 400 إجابة: ± 5 نقطة
- 1000 إجابة: ± 3 نقطة
19 من 20 و190 من 200 كلاهما 95%. الثاني وحده دليل: نطاقه 91%–97%، ونطاق الأول 76%–99%.
الـAPI والشاشة
قد تختلف إجابة الـAPI عمّا يراه الشخص على شاشة المساعد نفسه: تضيف الشاشة إعداداتها الافتراضية والموقع وبطاقات المنتجات. حيث نلتقط الاثنين نعرض الفرق.
مدى دقة قراءتنا للإجابات
نختبر القراءة على إجابات نموذجية حُدّدت قراءتها الصحيحة يدويًا: نشغّل عليها القراءة نفسها التي يستخدمها المنتج ونقارن. يجري هذا في كل إصدار؛ ويُوقف الإصدار الذي يقرأ أسوأ من سابقه.
حتى الآن صنّف أشخاص 0 من 46 إجابة اختبار. الباقي أمثلة مكتوبة يدويًا تتحقق من أن القراءة تعمل، وليست بعد دليلًا على الإجابات الحقيقية. هدفنا 100 إجابة حقيقية مصنّفة على الأقل لكل لغة.
| ما نقرؤه | العربية | التركية | الإنجليزية |
|---|---|---|---|
| ذُكرت العلامة | 100%80.6%–100% · n = 16 | 100%79.6%–100% · n = 15 | 100%79.6%–100% · n = 15 |
| نشاط يحمل الاسم نفسه (F1) | 100%n = 1 | 100%n = 1 | 100%n = 1 |
| الترتيب | 100%74.1%–100% · n = 11 | 100%74.1%–100% · n = 11 | 100%74.1%–100% · n = 11 |
| النبرة | 100%74.1%–100% · n = 11 | 100%74.1%–100% · n = 11 | 100%74.1%–100% · n = 11 |
| المنافسون المذكورون (F1) | 100%n = 4 | 100%n = 4 | 100%n = 7 |
| الادعاءات المكتشفة (F1) | 100%n = 5 | 100%n = 7 | 100%n = 8 |
| أحكام الادعاءات | 100%56.6%–100% · n = 5 | 100%64.6%–100% · n = 7 | 100%67.6%–100% · n = 8 |
| إجابة أم سؤال مضاد | 100%80.6%–100% · n = 16 | 100%79.6%–100% · n = 15 | 100%79.6%–100% · n = 15 |
يجمع F1 بين ما وُجد وما فات؛ وn هو عدد العناصر في التصنيفات. النسب مصحوبة بنطاق ثقة 95%.
صحة القياس
لكل علامة شاشة لصحة القياس: أي مساعد ذكاء اصطناعي أجاب خلال آخر 24 ساعة، وأيها توقف بسبب الرصيد أو الحد اليومي أو خطأ، ومتى أجاب كل منها آخر مرة. الشاشة الفارغة تذكر سببها دائمًا.