Python ile A/B Test Analizi

https://datastudio.google.com/embed/reporting/19b2e3ad-c422-4a2d-a41f-3e6a37529eeb/page/TkUmB

Hayatımızın her anında farkında olmadan A/B test yapıyoruz. Ticaretle uğraşan çoğu kişi bilinçli veya bilinçsiz olarak bunu gerçekleştiriyor. Mesela ,bir bakkalda kasanın yanında konumlandırılan bir çikolata ve sakız bir A/B testi sayılabilir.

Ya da siz instagram’da atacağınız bir post için saat konusunda eski deneyimlerinizden yola çıkıyor olabilirsiniz. Bir keresinde öğlen 14.00’te attığım post şu kadar etkileşim almıştı, 16.00’da attığım post ise bu kadar etkileşim almıştı. O halde ben 16.00’yı seçmeliyim.

Ya da sınava hazırlanırken hangi method ile ders çalıştığınız. Yıllardır farklı şekillerde ders çalışarak sınavlara giriyorsunuz. Hangi methodun başarılı olduğunu yorumlayıp bir sonraki sınava da o şekilde çalışıyor olabilirsiniz.

Tabii ki yukarıda verdiğim bakkal, instagram, sınav örneklerinin farklı sonuç ve başarıları olabilmekte. Fakat bu sonuçların istatistiki olarak bir anlamlılığı var mı bu araştırılmalıdır.Yoksa şans eseri bir başarı uzun sürmeyecektir. Verilen örnekler basit olabilir fakat istatistiki olarak anlamlılığını ölçmemize yarayacak şekilde veri toplanabilirse bu örnekler üzerinden de A/B test gerçekleştirilir.

A / B Test Nedir ve Tarihçesi ?

En basit haliyle iki veya daha fazla grubun test edilmesidir.Bu test sayesinde kontrol ve test grupları oluşturarak müşterilerin/kullanıcıların davranışları izlenir. Test sonucunda daha iyi performans veren grup belirlenir.

A/B Test hayatımızın her anında kullanıldığı için de tarihçesi çok önceye dayanmaktadır. Fakat bilimsel olarak bu çalışmaları yapıp bize kaynak oluşturan birkaç kişi var. Bunlardan biri 1900’lerin başında yaşamış bir biyolog, Ronald Fisher. Yaptığı çalışmaların bazılarını test etmek amacıyla kullanmış.

Fakat bizi biraz daha ilgilendiren isim ise Claude Hopkins. A/B Test çalışmaların dijital ortamda yaygınlaşması, internet çalışmaları ile özdeşleşmesinin birazcık da nedeni reklam öncüsü Claude’dir. Yaptığı çalışmalar ile A/B testi reklam, pazarlama , satış alanlarında yoğunlaşmıştır. ( Bu konu hakkında detaylı bilgi edinmek isteyenler için yazının sonuna kaynak bırakacağım )

A/B Test Amacı

A/B Test yapmamızın nedeni oluşturduğumuz bir hipotezin doğruluğunu ölçmektir. Örneğin, bir butonun kırmızı olması mı yoksa mavi olması mı kullanıcıların tıklamasını arttırıyor? A/B test sonunda bu sorunun cevabına ulaşabiliriz

Python ile A/B Test Analizi

Vahit Keskin’in Veri Bilimi ve Makine Öğrenmesi adlı eğitiminde öğrendiğimiz bilgiler ile bir test sonrasında çıkan sonucun istatistiki olarak anlamlılığını analiz ettik.

Bu çalışma bir reklam panelinin oluşturduğu yeni teklif modeli üzerineydi. Bu teklif modeli için bir test bir kontrol grubu oluşturulmuş ve bir süre izlenmiş. Veriler değerlendirmeye, analiz etmeye uygun hale geldiğinde sağlıklı bir çalışma yapabiliriz. Biz de elimizdeki verilerle en iyi sonucu çıkarmaya çalıştık.