اختبار A/B يقارن نسختين (مثل سطرَي موضوع) على عيّنتين عشوائيتين لتعرف أيهما أفضل فعلًا لا بالانطباع. هذا الدليل يلخّص ما يجعله صحيحًا.
1. غيّر متغيرًا واحدًا
إن غيّرت الموضوع والتصميم معًا فلن تعرف سبب الفرق. اختر فرضية واضحة: «موضوع يذكر الفائدة يرفع النقر».
2. اختر المقياس قبل الإرسال
الفتح مقياس ضعيف منذ حماية الخصوصية في Apple Mail (2021) التي تُحمّل الصور مسبقًا وتُضخّم الفتح. الأفضل في الغالب النقر أو التحويل. حدّد المقياس الأساسي قبل بدء الاختبار.
3. حدّد حجم العيّنة مسبقًا
كلما كان الفرق الذي تريد كشفه أصغر لزم عدد أكبر من المستلمين. مثلًا لكشف رفع نسبي 20% عن معدل أساس 5% بقوة 80% وثقة 95% تحتاج نحو 8,158 مستلمًا لكل نسخة. استخدم حاسبة A/B لتخطيط ذلك.
4. وزّع عشوائيًا وأرسل معًا
قسّم القائمة عشوائيًا وأرسل النسختين في الوقت نفسه؛ فالتوقيت المختلف يخلط الأثر.
5. اقرأ الدلالة بصدق
- قيمة p هي احتمال رؤية فرق بهذا الحجم أو أكبر لو لم يوجد فرق حقيقي؛ وليست احتمال أن تكون B أفضل.
- «غير دالّ» لا يعني «لا فرق»: قد تكون العيّنة صغيرة. انظر إلى نطاق الثقة.
- الدلالة الإحصائية ≠ الأهمية العملية: فرق صغير جدًا قد يكون دالًّا في عيّنة ضخمة لكنه لا يستحق العناء.
6. أخطاء شائعة
- التوقف المبكر (peeking): إيقاف الاختبار عند أول دلالة يرفع الإيجابيات الكاذبة. قرّر الحجم مسبقًا.
- اختبار نسخ كثيرة دون تصحيح: كل مقارنة إضافية ترفع احتمال نتيجة كاذبة.
- الاستنتاج من قائمة صغيرة: الأرقام الصغيرة متقلبة.
- تعميم النتيجة: ما نجح مع جمهورك في وقت معيّن قد لا يصحّ دائمًا.
طبّق ذلك
احسب الدلالة وحجم العيّنة بـحاسبة اختبار A/B، وقِس النسب بـحاسبة مقاييس البريد، وراجع سطر الموضوع بـمختبر سطر الموضوع.
An A/B test compares two versions (such as two subject lines) on two random samples so you learn which really performs better, not which you prefer. This guide summarises what makes it valid.
1. Change one variable
If you change subject and design together you will not know the cause of a difference. Pick a clear hypothesis: “a subject stating the benefit raises clicks”.
2. Choose the metric before sending
Opens have been a weak metric since Apple Mail Privacy Protection (2021), which preloads images and inflates opens. Clicks or conversions are usually better. Fix the primary metric before the test begins.
3. Fix the sample size in advance
The smaller the difference you want to detect, the more recipients you need. For example, detecting a 20% relative lift over a 5% baseline at 80% power and 95% confidence needs about 8,158 recipients per version. Use the A/B Test Calculator to plan this.
4. Randomise and send together
Split the list randomly and send both versions at the same time; different timing confounds the effect.
5. Read significance honestly
- The p-value is the probability of seeing a difference this large or larger if there were no real difference; it is not the probability that B is better.
- “Not significant” does not mean “no difference”: the sample may be too small. Look at the confidence interval.
- Statistical significance ≠ practical importance: a tiny difference can be significant in a huge sample and still not be worth the effort.
6. Common mistakes
- Peeking: stopping at the first significance raises false positives. Decide the size in advance.
- Testing many versions without correction: each extra comparison raises the chance of a false result.
- Concluding from a small list: small numbers are volatile.
- Over-generalising: what worked for your audience at one time may not always hold.
Put it into practice
Compute significance and sample size with the A/B Test Calculator, measure rates with the Email Metrics Calculator, and review the subject with the Subject Line Tester.
