Testy A/B na stronie - jak przeprowadzać test i liczyć istotność statystyczną

Testy A/B (split testy) to metoda porównywania dwóch wersji strony internetowej, landing page'a, e-maila lub reklamy na prawdziwych odwiedzających: część osób losowo widzi wersję A, część wersję B, a o zwycięzcy decydują dane, a nie opinie zespołu. Dobrze przeprowadzony test A/B odpowiada na pytanie, czy konkretna zmiana rzeczywiście zwiększa konwersję, czy różnica w wynikach jest dziełem przypadku.

Ten artykuł skupia się na metodyce: jak przeprowadzać testy, jak sformułować hipotezę, jak policzyć wielkość próby, ile powinien trwać eksperyment, czym jest istotność statystyczna i jak nie dać się oszukać wynikom. Szerszy kontekst - czym jest konwersja i gdzie szukać problemów na stronie - opisujemy w przewodniku po optymalizacji konwersji, a testy A/B są w nim jednym z etapów.

Czym są testy A/B i jak działają?

Test A/B to kontrolowany eksperyment online: system testowy losowo przydziela każdego odwiedzającego do jednej z dwóch grup, pokazuje grupom różne wersje strony i mierzy, jak często w każdej grupie dochodzi do konwersji. Ponieważ przydział jest losowy, a obie wersje działają w tym samym czasie, różnicę w wynikach można przypisać zmianie, a nie porze roku, kampanii reklamowej czy innym czynnikom.

Wersja A to wersja kontrolna - obecna strona. Wersja B zawiera jedną zmianę albo spójny zestaw zmian wynikających z jednej hipotezy, na przykład inny nagłówek, krótszy formularz lub nowy układ sekcji z ceną. Narzędzie do eksperymentów zapamiętuje, którą wersję zobaczył dany użytkownik, żeby przy kolejnej wizycie trafił do tej samej grupy.

Rodzaje testów: A/B, A/B/n, split URL i testy wielowymiarowe

Co można testować na stronie internetowej

• Nagłówki i propozycję wartości: jak firma opisuje ofertę i korzyść dla klienta.
• Przyciski i wezwania do działania: treść, kolor przycisku, położenie przycisku CTA - więcej w tekście o projektowaniu CTA.
• Formularze: liczbę pól, kolejność, podział na kroki.
• Prezentację ceny: widełki, pakiety, kolejność opcji, informację o płatnościach.
• Dowody zaufania: położenie opinii, logotypów klientów, gwarancji.
• Układ i wygląd strony: kolejność sekcji, krótką kontra długą wersję landing page.
• E-maile i newsletter: temat wiadomości, godzinę wysyłki, treść i układ - testy A/B to standard w e-mail marketingu.
• Elementy sklepu: kartę produktu, koszyk, informacje o dostawie, rekomendacje.

Jak przeprowadzić test A/B krok po kroku?

Poprawnie przeprowadzony test A/B ma siedem etapów: analiza danych i wybór problemu, sformułowanie hipotezy, wybór metryki głównej, wyliczenie wielkości próby i czasu trwania, przygotowanie i sprawdzenie wariantu, uruchomienie eksperymentu bez ingerencji do zaplanowanego końca oraz analiza wyników i wdrożenie. Pominięcie któregokolwiek z nich zwiększa ryzyko fałszywego wniosku.

1. Znajdź problem w danych: strona z dużym ruchem i słabą konwersją, wysoki współczynnik odrzuceń, krok lejka z dużymi wyjściami, zachowanie użytkowników widoczne w nagraniach sesji, wnioski z audytu UX.
2. Sformułuj hipotezę: co zmieniasz, u kogo i jakiego efektu oczekujesz - z uzasadnieniem.
3. Wybierz metrykę główną: jedną, decydującą o wyniku, i kilka metryk pomocniczych.
4. Policz próbę i czas trwania: zanim uruchomisz eksperyment, nie w trakcie.
5. Przygotuj nową wersję i sprawdź ją: na różnych urządzeniach i przeglądarkach, z działającym pomiarem.
6. Uruchom i nie podglądaj z decyzją: eksperyment trwa do osiągnięcia zaplanowanej próby.
7. Przeanalizuj i wdroż: zwycięską wersję wdrażasz na stałe, wnioski zapisujesz w bazie eksperymentów.

Jak napisać dobrą hipotezę

Hipoteza testu A/B to zdanie opisujące zmianę, grupę odbiorców, oczekiwany efekt i powód, dla którego ten efekt powinien wystąpić. Przydatny szablon brzmi: "Ponieważ zaobserwowaliśmy [dane], uważamy, że [zmiana] dla [grupa] spowoduje [efekt], co zmierzymy jako [metryka]".

Przykład słabej hipotezy: "Zielony przycisk będzie lepszy". Przykład dobrej: "Ponieważ w nagraniach sesji widzimy, że odwiedzający na telefonach nie przewijają do formularza, a 70% ruchu na tej podstronie jest mobilne, uważamy, że przeniesienie krótkiego formularza nad galerię realizacji zwiększy liczbę wysłanych zapytań z urządzeń mobilnych". Dobra hipoteza wynika z danych i - niezależnie od wyniku - czegoś uczy o klientach.

Metryka główna i metryki pomocnicze

Każdy eksperyment potrzebuje jednej metryki głównej (primary metric), na podstawie której zapada decyzja. Najczęściej jest to współczynnik konwersji celu biznesowego: wysłane formularze, zakupy, rezerwacje. Metryki pomocnicze - kliknięcia w przycisk, przejścia do kolejnego kroku, średnia wartość zamówienia - pomagają zrozumieć, dlaczego wynik wyszedł tak, a nie inaczej. Metryki ochronne (guardrail) pilnują, żeby zmiana nie pogorszyła czegoś ważnego, na przykład liczby zwrotów czy czasu ładowania strony.

Czym jest istotność statystyczna w testach A/B?

Istotność statystyczna informuje, jak mało prawdopodobne jest, że zaobserwowana różnica między wersjami powstała przypadkiem, gdyby w rzeczywistości obie działały tak samo. Standardem w testach A/B jest poziom istotności 5% (tzw. 95% pewności): wynik uznaje się za istotny, gdy wartość p (p-value) jest mniejsza niż 0,05.

Warto rozumieć, czego istotność nie mówi. Nie oznacza "95% szans, że wariant B jest lepszy" ani nie mówi, o ile dokładnie B jest lepszy. Dlatego obok wartości p patrzy się na przedział ufności - zakres, w którym z dużym prawdopodobieństwem mieści się prawdziwa różnica. Jeśli przedział dla wzrostu konwersji wynosi od +2% do +30%, efekt jest dodatni, ale jego wielkość jest niepewna.

Najważniejsze pojęcia statystyczne

• Poziom istotności (alfa): akceptowane ryzyko fałszywego alarmu, zwykle 5%.
• Wartość p (p-value): prawdopodobieństwo uzyskania takiej lub większej różnicy, gdyby wersje działały tak samo.
• Moc testu: szansa wykrycia efektu, jeśli on istnieje - standardowo 80%.
• MDE (minimalny wykrywalny efekt): najmniejsza zmiana, którą eksperyment ma wykryć, np. +20% względem obecnej konwersji.
• Przedział ufności: zakres prawdopodobnych wartości prawdziwej różnicy.
• Błąd I rodzaju: uznanie wariantu za lepszy, choć nie jest.
• Błąd II rodzaju: przeoczenie efektu, który naprawdę istnieje.

Podejście klasyczne czy bayesowskie

Narzędzia do eksperymentów korzystają z dwóch szkół statystyki. Podejście klasyczne (frekwentystyczne) operuje wartością p i wymaga ustalenia próby z góry. Podejście bayesowskie podaje prawdopodobieństwo, że wariant jest lepszy, co bywa łatwiejsze do zrozumienia dla zespołu biznesowego. Oba działają, jeśli są stosowane zgodnie z zasadami - kluczowe jest, żeby z góry ustalić kryteria decyzji i nie zmieniać ich w trakcie eksperymentu.

Jak obliczyć wielkość próby i czas trwania testu A/B?

Wielkość próby w teście A/B zależy od czterech wartości: obecnego współczynnika konwersji, minimalnego efektu, który chcesz wykryć (MDE), poziomu istotności (zwykle 5%) i mocy testu (zwykle 80%). Im niższa konwersja i im mniejszy efekt chcesz wykryć, tym więcej odwiedzających potrzebujesz. Czas trwania to wymagana próba podzielona przez dzienny ruch na testowanej stronie - ale nie krócej niż dwa pełne tygodnie.

Wartości wyliczone dla poziomu istotności 5% (test dwustronny) i mocy 80%. Przykład: landing z konwersją 3% i 1000 odwiedzin dziennie potrzebuje około 28 dni, żeby wykryć wzrost o 20%. Ta sama strona przy 300 odwiedzinach dziennie potrzebowałaby ponad trzech miesięcy - wtedy test A/B przestaje mieć praktyczny sens.

Ile powinien trwać test A/B

• Minimum dwa pełne tygodnie: zachowania w poniedziałek i w sobotę bywają zupełnie różne.
• Pełne cykle tygodniowe: kończ eksperyment po 14, 21 czy 28 dniach, a nie w środku tygodnia.
• Do osiągnięcia zaplanowanej próby: nie wcześniej, nawet jeśli wynik wygląda na rozstrzygnięty.
• Nie dłużej niż 6-8 tygodni: potem rośnie wpływ czyszczenia ciasteczek, sezonowości i zmian w kampaniach.
• Uwzględnij cykl decyzyjny: w B2B, gdzie decyzja zapada po kilku wizytach, eksperyment trwa zwykle dłużej.

Jakie narzędzia do testów A/B wybrać?

Do testów A/B na stronie używa się wyspecjalizowanych platform eksperymentów, wbudowanych funkcji systemów e-commerce i CMS albo eksperymentów po stronie serwera wdrażanych przez programistów. Google Optimize, przez lata najpopularniejsze darmowe narzędzie, zostało wyłączone we wrześniu 2023 roku, dlatego dziś wybiera się spośród rozwiązań komercyjnych i open source.

Niezależnie od narzędzia wyniki warto porównać z danymi w analityce - na przykład przesyłając informację o wariancie do Google Analytics 4. Jeśli testowana strona zbiera dane osobowe lub wykorzystuje pliki cookies do przydziału wariantu, narzędzie musi być uwzględnione w polityce prywatności i mechanizmie zgód.

Czy testy A/B szkodzą SEO

Testy A/B prowadzone zgodnie z wytycznymi Google nie szkodzą pozycjom. Wystarczy przestrzegać kilku zasad: nie pokazywać robotom innej treści niż użytkownikom (cloaking), w testach split URL stosować tag kanoniczny wskazujący wersję oryginalną i przekierowania tymczasowe 302, a po zakończeniu eksperymentu szybko usunąć warianty i kod testowy. Szerzej o tym, co wpływa na widoczność strony, piszemy w ofercie pozycjonowania SEO.

Najdroższy test A/B to ten zakończony za wcześnie. Po trzech dniach wariant prowadzi o 40%, zespół się cieszy, wdraża zmianę - a po miesiącu konwersja wraca do starego poziomu. Dlatego zanim uruchomimy eksperyment, liczymy próbę i zapisujemy datę zakończenia. Jeśli ruch jest za mały, mówimy wprost, że lepiej wydać budżet na rozmowy z klientami i poprawki wynikające z audytu.

Krzysztof Domiński, Smartwww

Jakie błędy najczęściej psują testy A/B?

Najczęstsze błędy w testach A/B to przerywanie eksperymentu, gdy tylko wynik wygląda na istotny, zbyt mała próba, testowanie wielu zmian bez jednej hipotezy, zmiany w trakcie eksperymentu, ignorowanie nierównego podziału ruchu oraz wyciąganie wniosków z segmentów, których nie zaplanowano. Każdy z nich może sprawić, że firma wdroży zmianę, która w rzeczywistości nic nie daje albo szkodzi.

• Podglądanie wyników (peeking): codzienne sprawdzanie i zatrzymanie eksperymentu przy pierwszym "istotnym" wyniku wielokrotnie zwiększa ryzyko fałszywego zwycięzcy.
• Za mała próba: eksperyment na kilkuset odwiedzinach wykrywa tylko losowy szum.
• Za krótki czas: trzy dni nie obejmują pełnego tygodnia ani różnych źródeł ruchu.
• Zmiany w trakcie: poprawianie wersji B, zmiana podziału ruchu czy nowa kampania w połowie eksperymentu psują porównanie.
• Nierówny podział ruchu (SRM): jeśli przy podziale 50/50 jedna grupa ma wyraźnie więcej odwiedzin, eksperyment ma błąd techniczny i wynik jest niewiarygodny.
• Polowanie na segmenty: "nowa wersja przegrała, ale wygrała wśród użytkowników Safari w czwartki" - to zwykle przypadek.
• Migotanie strony: użytkownik przez ułamek sekundy widzi wersję A, zanim załaduje się B, co samo w sobie wpływa na zachowanie.
• Testowanie drobiazgów przy małym ruchu: zmiana odcienia przycisku rzadko daje efekt wykrywalny w rozsądnym czasie.

Jak interpretować wynik testu A/B

Po osiągnięciu zaplanowanej próby możliwe są trzy wyniki. Wersja B wygrywa istotnie - wdrażasz ją i zapisujesz wniosek. Wersja B przegrywa istotnie - zostajesz przy wersji A, ale wiesz, czego nie robić. Brak istotnej różnicy - to też wynik: zmiana nie ma dużego wpływu, więc możesz wybrać wersję prostszą w utrzymaniu albo przetestować odważniejszą hipotezę. Przed decyzją sprawdź metryki ochronne, każdy wskaźnik pomocniczy i równość podziału ruchu. Wyniki testu zapisuj razem z hipotezą i zrzutami ekranu - po roku taka baza wiedzy o doświadczeniach użytkowników jest cenniejsza niż pojedynczy wygrany element strony.

Kiedy testy A/B nie mają sensu?

Testy A/B nie mają sensu, gdy strona ma za mało ruchu lub konwersji, żeby w rozsądnym czasie osiągnąć istotność, gdy zmiana jest oczywistą poprawką błędu albo gdy firma nie ma jeszcze danych ani hipotez, co poprawiać. W takich przypadkach szybsze i tańsze efekty dają badania jakościowe, audyt i wdrożenie sprawdzonych dobrych praktyk.

• Mniej niż kilkaset konwersji miesięcznie na testowanej stronie: eksperymenty trwałyby miesiącami.
• Oczywiste błędy: niedziałający formularz czy brak wersji mobilnej naprawia się od razu, bez eksperymentu.
• Brak pomiaru: bez poprawnie skonfigurowanej analityki eksperyment nie ma czego mierzyć.
• Przebudowa całej strony: zbyt wiele zmian naraz - lepiej oprzeć się na badaniach UX i badaniach z użytkownikami.

Dla stron z mniejszym ruchem dobrą alternatywą są testy użyteczności z 5-8 osobami, nagrania sesji, mapy kliknięć i ankiety na stronie. Pozwalają znaleźć największe problemy w kilka dni, a nie w kilka miesięcy.

Testy A/B w Smartwww - kiedy warto je zlecić i ile kosztują?

W Smartwww prowadzimy testy A/B jako część optymalizacji stron i sklepów: zaczynamy od analizy danych i audytu, przygotowujemy hipotezy z priorytetami, projektujemy i wdrażamy warianty, liczymy próbę, pilnujemy poprawności eksperymentu i raportujemy wyniki językiem biznesu. Jeśli ruch jest za mały na wiarygodne eksperymenty, mówimy to od razu i proponujemy inne metody.

Ceny zależą od złożoności wariantów, platformy i kosztu narzędzia. Eksperymenty najlepiej działają na dobrze zbudowanej stronie - jeśli planujesz nowy serwis, zobacz ofertę tworzenia stron internetowych lub sklepów internetowych. Gdy problemem jest za mały ruch, zacznij od pozycjonowania. Wycenę eksperymentów przygotujemy po krótkiej rozmowie - wystarczy formularz kontaktowy.

Słownik pojęć

• Test A/B: porównanie dwóch wersji strony na losowo podzielonym ruchu.
• Wariant kontrolny (A): obecna wersja strony.
• Wariant testowy (B): wersja ze zmianą wynikającą z hipotezy.
• Istotność statystyczna: miara tego, jak mało prawdopodobne jest, że różnica powstała przypadkiem.
• Wartość p: prawdopodobieństwo takiej różnicy przy braku prawdziwego efektu.
• Moc testu: szansa wykrycia istniejącego efektu.
• MDE: minimalny efekt, który eksperyment ma wykryć.
• SRM: niezgodność podziału ruchu z planem - sygnał błędu technicznego.
• Peeking: przedwczesne zatrzymanie eksperymentu na podstawie bieżących wyników.
• Test A/A: eksperyment dwóch identycznych wersji, sprawdzający narzędzie.

Najczęstsze pytania

Co to są testy A/B?

To eksperymenty, w których losowo dzieli się ruch na stronie między dwie wersje - obecną i zmienioną - i sprawdza, która lepiej realizuje cel, na przykład generuje więcej zapytań lub zakupów.

Ile ruchu potrzeba do testu A/B?

Zależy od konwersji i oczekiwanego efektu. Przy konwersji 3% i oczekiwanym wzroście o 20% potrzeba około 14 tysięcy odwiedzin na każdy wariant. Przy mniejszych efektach - kilka razy więcej.

Ile powinien trwać test A/B?

Minimum dwa pełne tygodnie i do osiągnięcia wyliczonej wcześniej próby. Zwykle nie dłużej niż 6-8 tygodni.

Co oznacza 95% istotności statystycznej?

Że akceptujesz 5% ryzyka uznania różnicy za prawdziwą, choć w rzeczywistości jej nie ma. Nie oznacza to 95% szans, że wariant B jest lepszy.

Czy można testować kilka elementów jednocześnie?

Tak - w jednym wariancie można zmienić kilka elementów, jeśli wynikają z jednej hipotezy, ale nie dowiesz się, który z nich zadziałał. Do badania wielu elementów osobno służą testy wielowymiarowe, wymagające dużego ruchu.

Czy testy A/B wpływają na pozycje w Google?

Nie, jeśli są prowadzone poprawnie: bez cloakingu, z tagiem kanonicznym w testach split URL, przekierowaniami 302 i szybkim usunięciem wariantów po zakończeniu.

Co zamiast Google Optimize?

Google Optimize wyłączono we wrześniu 2023 roku. Popularne alternatywy to VWO, AB Tasty, Optimizely, Convert oraz narzędzia open source, takie jak GrowthBook czy PostHog.

Co zrobić, gdy test nie dał istotnego wyniku?

Uznać, że zmiana nie ma dużego wpływu na konwersję, zapisać wniosek i przetestować odważniejszą hipotezę. Wydłużanie eksperymentu w nadziei na istotność zwiększa ryzyko fałszywego wyniku.