“Ayağımız alışsın.” ya da “Bize en son kaç olur?” dediğinizi duyar gibiyim. Bir- iki tane farklı görüş olsa da, Google’ın dediğine ve kendi A/B test aracı olan Optimize’da da önerdiğine göre, bir test en az 14 gün yayında kalmalı.
“Bize de mi 14 gün?”
14 gün nereden çıkmış? Aslında bunun arkasında yatan mantık şu; iki hafta döngüsünün tamamlanmış olması gerekiyor. Böylece pek çok sektörde farklı davranışlar gösteren hafta içi ve hafta sonu kullanıcılarına bir miktar zaman tanımış ve varyasyonlara olan davranışları için eşit davranmış oluyorsunuz.
Bunu bir hafta olarak dillendirenler olsa da, eğer gerçekten çok büyük trafiğe sahip değilseniz, iki hafta güzel bir süre.
(Bu “en az iki hafta”, Black Friday, Cyber Monday gibi bir ya da iki üç günlük kampanyalarda test yapamayacaksınız anlamına gelmiyor. Bu iki üç günlük testlerin avantaj ve dezavantajlarını başka bir yazıda detaylıca anlatacağım.)
Planladığım test kaç gün sürecek?
Bir testin en az 14 gün yayında kalması gerektiğini söyledim ama bazı testler 14 günden daha fazla zamana ihtiyaç duyabiliyor.
Peki bir test neye göre 14 gün ya da 44 gün sürüyor?
Test süresini etkileyen en önemli metriğin trafik olduğunu düşünenler var. Yanlış bir düşünce olmasa da, en önemli metrik aslında dönüşüm oranınız. Dönüşüm oranınız ne kadar iyiyse, testiniz de o kadar erken biter ve istatiksel anlamda güvenilir bir sonuç verir. İki metriğin de yüksek olduğu durumda testler tadından yenmez.
Yine de “Bir testin yaklaşık kaç günde biteceğini bilsem hiç fena olmaz.”diyenlerdenseniz, bunun için bir A/B testing aracı olan VWO’nun, kendi sitesindeki minik hesaplama aracını kullanabilirsiniz.
Sayfayı açtığınızda karşınıza yukarıdaki ekran çıkıyor. Bu ekranda sizden planladığınız test ile ilgili beş bilgi girmeniz isteniyor. Yukarıdan aşağıya;
- Şu anki ana hedefinizin dönüşüm oranı
- Test sonunda beklediğiniz artış oranı
- Testiniz toplam kaç varyasyondan oluşuyor (orijinal dahil)
- Testi yapacağınız sayfadaki günlük ziyaretçi sayısı
- Kullanıcılarınızın kaçı teste girecek
Tüm bu bilgileri girdikten sonra “Calculate Test Duration” butonuna tıklıyorsunuz ve yaklaşık olarak testinizin ne zaman sona ereceğini görebiliyorsunuz.
Test sonucum istatiksel anlamda güvenilir mi?
A/B test araçlarına hedef tanımladığınızda testin bu hedefler için güvenilir olup olmadığını otomatik olarak görebiliyorsunuz. Tanımlamadığınız farklı metriklere bakmak istediğinizde, bunu manuel yapmak yerine yine VWO’nun aracını kullanabilirsiniz.
İlk satıra orijinal ve varyasyona ait ziyaretçi sayısını, alt satırlara ise dönüşüm sayılarını girip butona tıkladığınızda sonuca ulaşıyorsunuz. Eğer test sonucu istatiksel anlamda güvenilirse aşağıdaki ekran karşınıza çıkıyor.
Eğer güvenilir değilse, yani karar verebilmek için daha fazla trafik ve dönüşüme ihtiyacı varsa aşağıdaki ekranla karşılaşıyorsunuz.
Bol trafikli, bol kazananlı sprintler!
