اختبار A/B يقارن نسختين (مثل سطرَي موضوع) على عيّنتين عشوائيتين لتعرف أيهما أفضل فعلًا لا بالانطباع. هذا الدليل يلخّص ما يجعله صحيحًا.
1. غيّر متغيرًا واحدًا
إن غيّرت الموضوع والتصميم معًا فلن تعرف سبب الفرق. اختر فرضية واضحة: «موضوع يذكر الفائدة يرفع النقر».
2. اختر المقياس قبل الإرسال
الفتح مقياس ضعيف منذ حماية الخصوصية في Apple Mail (2021) التي تُحمّل الصور مسبقًا وتُضخّم الفتح. الأفضل في الغالب النقر أو التحويل. حدّد المقياس الأساسي قبل بدء الاختبار.
3. حدّد حجم العيّنة مسبقًا
كلما كان الفرق الذي تريد كشفه أصغر لزم عدد أكبر من المستلمين. مثلًا لكشف رفع نسبي 20% عن معدل أساس 5% بقوة 80% وثقة 95% تحتاج نحو 8,158 مستلمًا لكل نسخة. استخدم حاسبة A/B لتخطيط ذلك.
4. وزّع عشوائيًا وأرسل معًا
قسّم القائمة عشوائيًا وأرسل النسختين في الوقت نفسه؛ فالتوقيت المختلف يخلط الأثر.
5. اقرأ الدلالة بصدق
- قيمة p هي احتمال رؤية فرق بهذا الحجم أو أكبر لو لم يوجد فرق حقيقي؛ وليست احتمال أن تكون B أفضل.
- «غير دالّ» لا يعني «لا فرق»: قد تكون العيّنة صغيرة. انظر إلى نطاق الثقة.
- الدلالة الإحصائية ≠ الأهمية العملية: فرق صغير جدًا قد يكون دالًّا في عيّنة ضخمة لكنه لا يستحق العناء.
6. أخطاء شائعة
- التوقف المبكر (peeking): إيقاف الاختبار عند أول دلالة يرفع الإيجابيات الكاذبة. قرّر الحجم مسبقًا.
- اختبار نسخ كثيرة دون تصحيح: كل مقارنة إضافية ترفع احتمال نتيجة كاذبة.
- الاستنتاج من قائمة صغيرة: الأرقام الصغيرة متقلبة.
- تعميم النتيجة: ما نجح مع جمهورك في وقت معيّن قد لا يصحّ دائمًا.
طبّق ذلك
احسب الدلالة وحجم العيّنة بـحاسبة اختبار A/B، وقِس النسب بـحاسبة مقاييس البريد، وراجع سطر الموضوع بـمختبر سطر الموضوع.
