حجم عيّنة اختبار A/B للبريد: كم مشتركًا تحتاج لنتيجة موثوقة

تُعلَن أغلب اختبارات A/B للبريد فائزة مبكرًا أو على جماهير أصغر بكثير من أن تفرّق بين الحظ والتأثير. والنتيجة سطر موضوع «فائز» لا يفعل شيئًا عند التعميم. الحلّ ليس معقّدًا: خطّط حجم العيّنة أولًا ثم اقرأ النتيجة بالاختبار الصحيح. يعطيك هذا الدليل الأرقام والمنهج. ولنظرة عامة على العملية كلها اقرأ أولًا دليل اختبار A/B للبريد.

المدخلات الأربعة التي تحدّد حجم العيّنة

المدخل	معناه	الاختيار المعتاد
معدّل خط الأساس	معدّل النقر (أو التحويل) الحالي لديك	من الحملات السابقة
الحد الأدنى للتأثير القابل للكشف (MDE)	أصغر زيادة نسبية تستحق التصرّف	10–20% نسبيًا
مستوى الثقة	مدى ندرة قبولك لإيجابية كاذبة	95% (α = 5%)
القوة	كم مرة تكشف تأثيرًا حقيقيًا بذلك الحجم	80% (أحيانًا 90%)

خطوط الأساس الأصغر والتأثيرات الأصغر تحتاج جماهير أكبر بكثير. تقليل الزيادة المراد كشفها إلى النصف يضاعف العيّنة أربع مرات تقريبًا.

حجم العيّنة لكل نسخة: أرقام مرجعية

باستخدام صيغة النسبتين القياسية عند ثقة 95% (ثنائية الطرف) وقوة 80%:

خط الأساس	الزيادة النسبية المراد كشفها	المستلمون لكل نسخة
2%	+50%	≈ 3,826
5%	+20%	≈ 8,158
20%	+10%	≈ 6,510

تطابق هذه الأرقام الحاسبة أدناه. إن كانت قائمتك أصغر من العدد اللازم فلا يمكنك كشف ذلك التأثير بموثوقية: إما اختبر شيئًا بأثر متوقع أكبر، أو اختبر على مقياس بمعدّل أساس أعلى (الفتح أعلى من النقر لكنه غير موثوق؛ انظر أدناه)، أو اجمع النتائج عبر عدة إرسالات.

⚖️حاسبة اختبار A/Bدلالة إحصائية لنسختين مع قيمة p ونطاق ثقة وتخطيط حجم العيّنةافتح الأداة →

اختبار الدلالة، بلغة بسيطة

لمعدّلين فإن النهج المعتاد هو اختبار z لنسبتين. يسأل: إن كانت النسختان متساويتين فعلًا في الأداء فما مدى غرابة فجوة بهذا الحجم؟ هذا الاحتمال هو قيمة p.

• p < 0.05 تعني أن فجوة بهذا الحجم كانت ستحدث بالصدفة أقل من 5% من الوقت لو لم يكن هناك فرق حقيقي.
• هي ليست احتمال أن تكون B أفضل، ولا تقول شيئًا عن حجم الفرق أو قيمته.
• «غير دالّ» لا يعني «لا فرق». يعني غالبًا أن الاختبار كان صغيرًا. انظر فاصل الثقة للفرق.

بأي مقياس تحكم

الفتحات غير موثوقة بسبب Apple Mail Privacy Protection، فاحكم على اختبارات سطر الموضوع بـالنقرات وعلى اختبارات التصميم أو العرض بـالتحويلات. معدّل فتح أعلى دون تغيّر في النقرات يعني عادة موضوعًا يصطاد الفضول ولم يقدّم قيمة. معادلات المقاييس مغطّاة في دليل معادلات مقاييس البريد.

كم تُشغّل اختبار البريد

1. اجعل التوزيع عشوائيًا وأرسل في الوقت نفسه ليواجه النسختان الظروف نفسها.
2. انتظر إغلاق نافذة الاستجابة. يصل معظم تفاعل البريد خلال 24–48 ساعة؛ والانتظار هذه المدة على الأقل يتجنّب تفضيل النسخ التي أُرسلت إلى سريعي الاستجابة.
3. اجمع العيّنة المخطّطة، لا «حتى يبدو الرقم جيدًا». قرّر قاعدة التوقف مسبقًا.

اختيار الحد الأدنى للتأثير بصدق

أشيع أخطاء التخطيط اختيار تأثير ضئيل مثل +2% لأن أي مكسب يبدو جيدًا. اسأل بدلًا من ذلك: أي زيادة ستغيّر قرارًا؟ إن كان تغيير من 5% إلى 5.1% لا يبرّر إعادة كتابة قالبك فلا سبب لشراء الجمهور اللازم لكشفه. عادة مفيدة هي حساب قيمة أصغر زيادة: نقرات إضافية لكل إرسال مضروبة في معدّل تحويلك ومتوسط قيمة الطلب. إن كان الرقم دون كلفة التغيير فاختر تأثيرًا أكبر أو تخطَّ الاختبار. اكتب MDE في خطة الاختبار لئلا تعيد النتيجة تعريف النجاح بصمت لاحقًا.

الشرائح والمشتركون الجدد

تُتوسَّط النتائج عبر كل من أرسلت إليهم. قد يفوز سطر موضوع لدى المشتركين المتفاعلين ويخسر لدى من انضمّوا الأسبوع الماضي، والرقم المجمَّع يخفي ذلك. وزّع عشوائيًا داخل الجمهور كله، ولا تنظر إلا بعد ذلك إلى شريحة أو شريحتين مخطّط لهما مسبقًا، مثل الجدد مقابل الحاليين. عامل تحليل الشرائح غير المخطَّط كمصدر لفرضيات جديدة لا كإثبات، لأن التقطيع بما يكفي من الطرق سينتج دائمًا «فائزًا» ظاهريًا.

الأخطاء التي تصنع فائزين كاذبين

الخطأ	لماذا يضلّل	الحل
التلصّص (Peeking)	الفحص المتكرر والتوقف عند أول p < 0.05 يضخّم الإيجابيات الكاذبة	ثبّت حجم العيّنة أولًا وحلّل مرة واحدة
اختبار نسخ كثيرة	كل مقارنة إضافية تزيد احتمال نتيجة محظوظة	حدّ من النسخ أو طبّق تصحيحًا
تغيير عدة أشياء	لا تعرف أي تغيير نجح	متغيّر واحد لكل اختبار
تقسيمات غير متساوية أو غير عشوائية	جماهير مختلفة لا محتوى مختلف يصنع الفجوة	وزّع القائمة كلها عشوائيًا
إعلان الانتصار على الفتحات	الفتحات متضخّمة وتقودها الروبوتات	استخدم النقرات أو التحويلات
التعميم المفرط	فائز لشريحة قد لا يصحّ لأخرى	أعد اختبار التغييرات المهمة

مثال محسوب: تخطيط اختبار واحد وقراءته

نشرتك بمعدّل نقر 5% وقائمة من 40,000. تريد اختبار دعوة جديدة إلى إجراء وتهتم فقط بزيادة 20% أو أكثر (من 5% إلى 6%).

1. خطّط: يقول الجدول أعلاه نحو 8,158 مستلمًا لكل نسخة، أي 16,316 إجمالًا. القائمة البالغة 40,000 كافية، ويمكنك إرسال الفائز إلى الجمهور المتبقي.
2. أرسل: قسّم عشوائيًا 8,200 لكل نسخة في الوقت نفسه، وانتظر 48 ساعة.
3. اقرأ: لدى A 410 نقرة (5.0%) ولدى B 492 (6.0%). المعدّل المجمَّع = 902 ÷ 16,400 = 5.5%؛ z ≈ 2.8 فتكون p ≈ 0.005.
4. قرّر: دالّ، وفاصل الفرق (نحو +0.3 إلى +1.7 نقطة) يبقى فوق الصفر. اعتمد B.

لو أنتجت B نحو 440 نقرة (5.4%) لكان z نحو 1.1 وp نحو 0.3: لا دليل على فرق بهذا الحجم، رغم أن B «تبدو» أفضل. وهذا هو الموقف الذي يغري التلصّص الناس بقراءته خطأً.

حين تكون قائمتك صغيرة

يوصي NIST باختبار فيشر الدقيق للعيّنات الصغيرة، حيث يصبح التقريب الطبيعي وراء اختبار z غير موثوق. وكقاعدة عملية، إن كنت تتوقع أقل من نحو 10 نقرات في أي نسخة فعامل النتيجة كتلميح وأعد الاختبار. القوائم الصغيرة يخدمها اختبار تغييرات جريئة (عرض مختلف لا فاصلة مختلفة) وتجميع الفرضية نفسها عبر عدة إرسالات.

قاعدة قرار بسيطة

1. خطّط الجمهور لأصغر زيادة تستحق الاعتماد.
2. أرسل مرة واحدة إلى العيّنة المخطّطة، عشوائيًا.
3. احسب قيمة p وفاصل الفرق.
4. إن كان دالًّا وكان الحدّ الأدنى للفاصل ما زال يستحق التغيير فاعتمد الفائز.
5. إن لم يكن دالًّا فسجّله كـ«لا دليل على فرق بهذا الحجم» وانتقل إلى اختبار أجرأ.

أسئلة شائعة

كم شخصًا أحتاج لاختبار A/B للبريد؟

يعتمد على معدّل خط الأساس وعلى الزيادة التي تريد كشفها. مثلًا، كشف زيادة نسبية 20% فوق خط أساس 5% بثقة 95% وقوة 80% يحتاج نحو 8,100 مستلم لكل نسخة.

كم أُشغّل اختبار A/B للبريد؟

أرسل النسختين في الوقت نفسه وانتظر 24 إلى 48 ساعة على الأقل ليستقرّ التفاعل، ثم حلّل مرة واحدة بعد بلوغ العيّنة المخطّطة.

هل مستوى ثقة 95% ضروري؟

هو المعيار الشائع للقرارات المكلفة التراجع عنها. وللتغييرات منخفضة المخاطر يقبل بعض الفرق 90%، لكن لا تغيّر العتبة بعد رؤية البيانات.

ماذا لو كانت قائمتي أصغر من أن تبلغ حجم العيّنة؟

اختبر تغييرات أكبر (زيادة متوقعة أكبر)، أو اجمع عدة إرسالات للفرضية نفسها، أو اقبل أنك لا تستطيع كشف إلا التأثيرات الكبيرة.

هل أثق بالفائز الذي تختاره منصّة البريد تلقائيًا؟

افحص القاعدة التي تستخدمها. كثير من الأدوات تختار فائزًا بالفتحات بعد فترة قصيرة وعيّنات صغيرة، وهذا غالبًا غير موثوق. تحقّق باختبار دلالة على النقرات.

المراجع ومزيد من القراءة

1. NIST/SEMATECH e-Handbook — 7.3.3 Do two processes produce the same proportion of defectives?
2. Apple — Protect Mail activity (Mail Privacy Protection)
3. NIST/SEMATECH e-Handbook — 7.2.4.1 Confidence intervals