Po 4 týdnech probíhajícího testování 3 variant jsme došli do patové situace, když se varianta jen s jedním tlačítkem stáhnout a varianta se stručným přehledem informací vyrovnaly na počet transakci přesně. Varianta s největším množstvím informací se vůči druhým dvěma nedokázala prosadit. Ztrácela jak v počtu transakcí, tak v celkových tržbách. Na její slabý výkon jsme upozorňovali již v minulém článku A|B test fotobanky Pixmac.cz pokračuje.
Po vyhodnocení testování 3 variant jsme přistoupili ke změně v testu, abychom dali možnost ukázat lepším variantám své silné stránky. Proto jsme se spolu s klientem rozhodli vypnout variantu s nejvíce informacemi a pokračovat v testu bez ní. Lepší rozhodování měla zajistit zvýšená návštěvnost do zbývajících dvou variant, a tím pádem rychlejší průběh testu.
Rozhodnout musí peníze
Ani po dalších 14 dnech samostatného testování dvou vyrovnaných variant, nedošlo k výraznému rozdílu jejich výkonu v hlavní metrice. Nepomohla ani segmentace nových uživatelů. Nejednoznačné výsledky tak zvýraznily potřebu podpůrných metrik. Při porovnání tržeb bylo vidět, že uživatelé utrácejí nejvíce na variantě se stručným přehledem informací, kde za 6 týdnů testování utratili o 22 % víc než na druhé variantě jen s jedním tlačítkem stáhnout. Protože cílem testu bylo určit, která varianta dokáže klientovi vydělat nejvíce peněz, bylo rozhodování nakonec poměrně jasné. Hlavní metrika sama nestačila, a tak vedlejší metrika testování rozhodla.
Vítěznou variantou se tedy stala varianta se stručným přehledem informací.
Z testování nás těší především to, že klient byl spokojený a chce testování tabulky ceníku vyzkoušet i na ostatních jazykových mutacích své fotobanky. Navíc spolu s Pixmacem uvažujeme o testování interního vyhledávání fotobanky.
Série článků o A|B testování Pixmacu ještě není u konce. Pavel Jašek vám ve svém článku popíše pár detailů o technické stránce testování.
Pokud vás tento blog zaujal a máte zájem naučit se jak správně A|B testování připravit a spustit, navštivte naše Školení A/B testování.
