حاسبة اختبار A/BA/B Test Calculator

أدخل عدد المستلمين والتحويلات (فتح أو نقر) لكل نسخة لتعرف هل الفرق دالّ إحصائيًا، مع قيمة p ونطاق ثقة للفرق. وخطّط حجم العيّنة المطلوب قبل الإرسال. Enter recipients and conversions (opens or clicks) for each variant to see whether the difference is statistically significant, with a p-value and a confidence interval for the difference. Plan the required sample size before sending.

مساحة العملWorkspace

النسخة A (الأصل)Variant A (control)

النسخة B (التجربة)Variant B (test)

تخطيط حجم العيّنةSample size planner

كيف تُحسب النتيجة؟How the result is calculated

اختبار z لنسبتين (ذو طرفين): p̂ = (xA+xB)/(nA+nB)، الخطأ المعياري SE = √(p̂(1−p̂)(1/nA+1/nB))، z = (pB−pA)/SE، وقيمة p = 2·(1−Φ(|z|)). يُعدّ الفرق دالًّا إن كانت p < 1 − مستوى الثقة. Two-proportion z-test (two-sided): p̂ = (xA+xB)/(nA+nB), SE = √(p̂(1−p̂)(1/nA+1/nB)), z = (pB−pA)/SE, and p-value = 2·(1−Φ(|z|)). The difference is significant if p < 1 − confidence level.

نطاق الثقة للفرق (Wald غير المجمّع): (pB−pA) ± z·√(pA(1−pA)/nA + pB(1−pB)/nB). حجم العيّنة لكل نسخة = (zα/2√(2p̄(1−p̄)) + zβ√(p1(1−p1)+p2(1−p2)))² ÷ (p2−p1)²، حيث p2 = p1(1+التحسّن) وp̄ متوسطهما، وα = 5% ذو طرفين. Confidence interval for the difference (unpooled Wald): (pB−pA) ± z·√(pA(1−pA)/nA + pB(1−pB)/nB). Sample size per variant = (zα/2√(2p̄(1−p̄)) + zβ√(p1(1−p1)+p2(1−p2)))² ÷ (p2−p1)², where p2 = p1(1+lift) and p̄ is their mean; α = 5% two-sided.

حدود الأداة:Limits: «غير دالّ» لا يعني «لا فرق»؛ قد تكون العيّنة صغيرة. الاختبار يفترض عيّنات مستقلة وتوزيعًا عشوائيًا للمستلمين، ويفترض أن حجم العيّنة حُدّد قبل النظر للنتائج: فالتوقف عند أول دلالة (peeking) أو اختبار عدة نسخ دون تصحيح يرفع الإيجابيات الكاذبة. تقريب التوزيع الطبيعي ضعيف إن قلّ أي من التحويلات أو غير التحويلات عن 5 (يُنبَّه إليه). وصحة الأرقام مسؤوليتك. “Not significant” does not mean “no difference”; the sample may be too small. The test assumes independent samples and random assignment, and that sample size was fixed before looking at results: stopping at the first significance (peeking) or testing many variants without correction inflates false positives. The normal approximation is weak if any conversions or non-conversions count is under 5 (flagged). The numbers' accuracy is your responsibility.

أسئلة شائعةFAQ

ما معنى قيمة p = 0.03؟What does p = 0.03 mean?

لو لم يكن هناك فرق حقيقي، فاحتمال رؤية فرق بهذا الحجم أو أكبر بالصدفة 3%. ليست احتمال أن النسخة B أفضل.If there were no real difference, the chance of seeing a gap this large or larger by luck is 3%. It is not the probability that B is better.

ماذا أقيس: الفتح أم النقر؟Should I measure opens or clicks?

للنقر أو التحويل. الفتح مُضخَّم بحماية خصوصية Apple Mail، فلا يصلح معيارًا للحكم في موضوع الرسالة بالذات.Clicks or conversions. Opens are inflated by Apple Mail privacy protection, which makes them a weak judge even for subject-line tests.