"Bu değişikliği yapalım mı yapmayalım mı" tartışmasını görüşle değil veriyle bitirmenin yolu A/B testinden geçer. Ama çoğu ekip ya yanlış şeyi test eder ya da doğru şeyi yanlış yorumlar. Bu yazıda hipotez kurmadan örneklem büyüklüğüne, sonuçları okumaya kadar deneye dayalı optimizasyonun temellerini anlatıyoruz.
A/B testi tam olarak nedir?
A/B testi, aynı sayfanın veya akışın iki (ya da daha fazla) farklı versiyonunu aynı anda, ziyaretçilerin bir kısmına birini bir kısmına diğerini göstererek karşılaştırma yöntemidir. Amaç, hangi versiyonun belirlediğiniz metrikte (dönüşüm oranı, sepete ekleme, tıklama) daha iyi performans gösterdiğini istatistiksel olarak güvenilir biçimde ortaya koymaktır.
Buradaki kritik kelime "istatistiksel olarak güvenilir". İki versiyonu art arda farklı haftalarda yayınlayıp sonuçları karşılaştırmak A/B testi değildir; o iki hafta arasındaki fark mevsimsellikten, kampanyadan veya tesadüften kaynaklanabilir. Gerçek bir A/B testinde ziyaretçiler aynı zaman diliminde rastgele iki gruba ayrılır, böylece dış etkenler her iki gruba eşit dağılır.
Önce hipotez, sonra test
İyi bir A/B testi, "acaba butonun rengini değiştirsek ne olur" gibi rastgele bir merakla değil, net bir hipotezle başlar. Sağlam bir hipotez şu üç parçayı içerir: mevcut durumda gördüğünüz sorun, önerdiğiniz değişiklik ve bu değişikliğin neden işe yarayacağına dair gerekçe.
Örnek: "Analitik verilerine göre kullanıcıların %40'ı ödeme sayfasında kargo ücretini gördüğünde sepeti terk ediyor (sorun). Kargo ücretini sepet sayfasında daha erken gösterirsek (değişiklik), sürpriz maliyet hissi azalacağı için ödeme tamamlama oranı artacaktır (gerekçe)." Bu şekilde kurulan bir hipotez, testin sonucu ne olursa olsun size bir şey öğretir; rastgele denemeler ise sonuç olumlu çıksa bile "neden işe yaradığını" açıklayamaz. Hipotezi besleyecek veriyi doğru yerden almak da önemlidir; huninin hangi adımında kaybettiğinizi görmenin yolunu GA4'ü doğru kurmak ve okumak yazımızda anlattık.
Neyi test etmeli, neyi etmemeli?
Her şeyi test etmeye çalışmak, kaynaklarınızı israf eder. Etki potansiyeli yüksek alanlara odaklanın:
- Yüksek trafikli sayfalar: Ana sayfa, en çok satan ürün sayfaları ve ödeme akışı; az ziyaretçi alan bir sayfada anlamlı sonuç almak aylar sürebilir,
- Karar noktaları: Aksiyon çağrısı metni ve rengi, fiyat gösterimi, kargo ücreti şeffaflığı, ürün görseli sırası,
- Güven unsurları: Yorum ve puanların konumu, güvenli ödeme rozetleri, iade politikası vurgusu.
Tersine, marka logosunun birkaç piksel kaydırılması gibi düşük etkili ayrıntılar genelde test etmeye değmez; bu tür değişiklikler tasarım tercihi olarak bırakılabilir. Kaynağınızı, sonuç fark yaratma ihtimali yüksek değişikliklere ayırın. Fiyat gösterimi gibi hassas alanlarda test kurmadan önce fiyatlandırma psikolojisi yazımızı okumak, hangi varyasyonların denemeye değer olduğunu görmenizi kolaylaştırır.
Aşağıdaki tablo, sık test edilen dört alan için örnek varyasyon ve ölçülecek metrikleri özetler:
| Test türü | Örnek varyasyon | Ölçülecek metrik |
|---|---|---|
| Başlık testi | Özellik odaklı başlık ile sonuç odaklı başlık | Kaydırma oranı, form başlatma |
| Görsel testi | Stüdyo çekimi ile kullanım anındaki görsel | Ürün sayfası dönüşüm oranı |
| CTA testi | "Sepete Ekle" ile "Hemen Sahip Ol" | Tıklama oranı, sepete ekleme |
| Fiyat testi | Tam fiyat gösterimi ile taksit vurgulu gösterim | Ödeme tamamlama oranı |
Tek seferde tek değişken
En sık yapılan hata, aynı testte birden fazla şeyi değiştirmektir: hem başlığı hem görseli hem buton metnini aynı anda değiştirip sonucu tek bir "B versiyonu daha iyi" cümlesine sıkıştırmak. Sonuç olumlu çıksa bile hangi değişikliğin bu farkı yarattığını asla bilemezsiniz ve öğrendiğiniz ders bir sonraki sayfaya taşınamaz.
Tek değişken test etmek daha yavaş sonuç gibi görünse de, uzun vadede çok daha fazla ve daha uygulanabilir öğrenme biriktirir. Birden fazla değişikliği aynı anda denemek istiyorsanız, çok değişkenli test (multivariate test) gibi bunun için tasarlanmış bir yöntem kullanın; bu, çok daha fazla trafik gerektirir ve küçük-orta ölçekli mağazalar için genelde pratik değildir.
"Bir A/B testi size doğru cevabı vermez; doğru soruyu ne kadar iyi sorduğunuzu gösterir."
Örneklem büyüklüğü ve süre: erken bitirmeyin
Bir testi, "B versiyonu şu an önde görünüyor" diye birkaç gün sonra durdurmak, en yaygın ikinci hatadır. Trafiğin doğal dalgalanması, testin ilk günlerinde yanıltıcı bir öndelik yaratabilir; zamanla bu fark küçülebilir hatta tersine dönebilir.
Testi başlatmadan önce kabaca ne kadar süreceğini tahmin edin: mevcut dönüşüm oranınız, beklediğiniz iyileşme miktarı ve günlük trafiğiniz, gereken örneklem büyüklüğünü belirler. Çevrimiçi örneklem büyüklüğü hesaplayıcıları bu tahmini dakikalar içinde verir. Genel kural olarak testi en az bir veya iki tam hafta döngüsü (hafta içi-hafta sonu davranış farkını yakalamak için) çalıştırmadan sonuca varmayın ve istatistiksel anlamlılık eşiğine (genelde %95 güven düzeyi) ulaşmadan durdurmayın.
Düşük trafikli sayfalarda anlamlı sonuç almak zorsa, doğrudan satın almayı değil, huninin daha erken bir adımını (sepete ekleme, form başlatma gibi mikro dönüşümleri) test edin; bu adımlarda örneklem daha hızlı birikir ve daha çabuk karar verebilirsiniz.
Toparlarsak, sağlıklı bir A/B testi şu sırayla ilerler:
- Veriden beslenen net bir hipotez yazın (sorun, değişiklik, gerekçe),
- Tek bir değişkeni belirleyip ölçülecek metriği seçin,
- Gerekli örneklem büyüklüğünü ve tahmini süreyi hesaplayın,
- Testi en az bir-iki tam hafta döngüsü kesintisiz çalıştırın,
- Sonucu genel ortalamada değil, segment bazında okuyun.
Sonuçları yorumlarken dikkat edilmesi gerekenler
Test bitti, B versiyonu kazandı; peki şimdi ne olacak? Önce sonucun segment bazında tutarlı olup olmadığına bakın: mobilde kazanan versiyon masaüstünde kaybediyor olabilir. Cihaz, trafik kaynağı ve yeni-tekrar eden ziyaretçi kırılımlarında sonucu kontrol etmek, genel ortalamanın gizlediği çelişkileri ortaya çıkarır.
Ayrıca "istatistiksel olarak anlamlı" ile "işe yarar büyüklükte" farklı şeylerdir. %0,2'lik bir iyileşme istatistiksel olarak anlamlı çıkabilir ama işletmeniz için pratik bir fark yaratmayabilir. Kazanan versiyonu uygulamaya almadan önce, bu farkın gerçek ciro veya operasyonel karşılığını hesaplayın; A/B testi dışında dönüşüm oranını artırmak için uygulayabileceğiniz diğer yöntemleri dönüşüm oranını artıran 7 kanıtlanmış yöntem yazısında bulabilirsiniz.
Test öncesi kontrol listesi
- Net bir hipotez (sorun, değişiklik, gerekçe) yazdınız mı?
- Tek bir değişken mi test ediyorsunuz?
- Gerekli örneklem büyüklüğünü ve tahmini test süresini hesapladınız mı?
- Testi en az bir tam hafta döngüsü çalıştırmayı planlıyor musunuz?
- Sonucu segment bazında (cihaz, kanal) kontrol edecek misiniz?
- İstatistiksel anlamlılığın yanında pratik/ticari etkiyi de değerlendirecek misiniz?
A/B testi, sezgiyle veriyi barıştıran en pratik araçlardan biridir; doğru kurulduğunda tartışmaları toplantı odasından çıkarıp gerçek kullanıcı davranışına taşır. Şimşek Software altyapısındaki mağazalarda ürün sayfası, sepet ve ödeme akışı bileşenleri esnek yapılandırılabildiğinden, bir versiyonu diğerine karşı denemek kod yazmayı değil panel üzerinden birkaç ayarı değiştirmeyi gerektirir.