Na Web Analytics Wednesday se registrovalo více než 170 účastníků, z toho jich dorazilo asi 120. Nepřišli pouze pracovníci z českých online agentur, ale i zástupci firem, které A/B testování samy chtějí řešit.
Jak zařídit, aby A/B testy přinášely výsledky
Úloha prezentace Martina Snížka spočívala ve vyjasnění základů A/B testování. Zmínil, které typy změn mohou mít vliv na zákazníka, jak tyto změny prioritizovat a měřit. Neopomněl zdůraznit, že optimalizace je iterativní proces. To v praxi znamená, že bychom se neměli bát, když A/B testování dopadne špatně. Dlouhodobý plán testování by měl ošetřit, že ze série desíti testů jich může klidně sedm být negativních, ale zbylé tři posunou obchodní výkonnost výrazně dopředu.
Záznam přednášky Jak zařídit, aby vaše A/B testy přinášely výsledky (Martin Snížek, Optimics).
Martinovy příklady byly dobře doplněny o výklady možného zdůvodnění, proč určitá změna funguje. Nejvíc se mi z toho líbilo rozklíčování fungování jednotlivých prvků u testování produktu Highrise. Titulní stránka softwarového produktu má návštěvníkům vysvětlit hlavní funkce a motivovat je k vyzkoušení nástroje. Důležitým poznatkem z testování bylo popření několika obecných best-practice, že větší výstižnost a stručnost textu nabídky musí vést k lepším výsledkům. Delších nabídek se ostatně nebál ani David Ogilvy ve svých direct mailech. Prokliněte si, jak vypadala delší varianta stránky Highrise. Společnost 37signals uvedené testování podrobně popsala na svém blogu v třídílném seriálu (část 2, část 3).
Testování musí předbíhat kvantitativní a kvalitativní výzkum, který posoudí závažnost problému a odhadne potenciální zlepšení. Z dotazů účastníků bylo zřejmé, že právě tato fáze je velkým otazníkem a neví, jak ji uchopit. Jak uvádím v článku na Lupě, podstatné je zodpovězení odhadu, zda testovaná varianta stránky dokáže odstranit problémy návštěvníků na stránce.
S A/B testováním také nutně souvisí stanovení hypotézy, která ověřuje rozdílnost variant. Tohoto pojmu se sice často bojíme, ale neměli bychom tento krok správného určení, co vlastně testujeme přeskakovat. Statistika je důležitým základem pro správné vyhodnocení A/B testování. K hypotéze se totiž vždy vracíme při vyhodnocování, a to se teprve vidí, jak srozumitelně a měřitelně byla na začátku definována.
Freemium v praxi
Josef Hos z Avastu představil, jak dělají A/B testování u nich. Úlohu měl trochu ztíženou, protože mezi účastníky seděla i konkurence z AVG. Zmínil, jak různě cílí na uživatele bezplatné verze Avastu, jak se snaží tyto uživatele posouvat k objednávce nebo alespoň vyzkoušení placené verze. Ve videu si určitě všimněte, jak Josef povídá o vyhodnocování výsledků podle segmentů uživatelů v různých zemích - čekali byste takové rozdíly mezi Francouzi a Američany?
Záznam přednášky Freemium v praxi (Josef Hos, AVAST Software).
Jak vám může Dobrý web pomoci s A/B testováním
V Dobrém webu také děláme A/B testování. Již jste si mohli přečíst seriál o testování fotobanky Pixmac.cz, nebo rovnou případovou studii A/B testování pro e-shop Magnet Blancheporte.
Poskytujeme také individuální školení A/B testování připravené vždy pro konkrétní firmu. Jasně se v něm ukazuje, jak konkrétně připravovat a vyhodnocovat testy. Osvědčilo se nám, když jsme téma mohli probrat jak s osobami, které jsou zodpovědné za zlepšování výsledků webu, tak i se zaměstnanci, kteří by dělali nutnou operativu - vymýšleli a kreslili varianty do drátěných modelů, připravovali měřící kódy a vyhodnocovali výsledky. Takové školení pak nebylo monologem lektora, ale spíše workshopem, kde se probíraly konkrétní úpravy webu a způsob jejich realizace. Dejte nám vědět, jestli chcete s A/B testováním začít také ve své firmě!
