Tip:
Highlight text to annotate it
X
Wideo #5: Eksperymenty kampanii AdWords: Interpretacja wyników eksperymentu i ich istotności statystycznej
Krok 3 konfiguracji eksperymentu kampanii AdWords to uruchomienie eksperymentu i
monitorowanie jego wyników. W tej lekcji omówimy część wyników, które mogą
pojawić się w podczas trwania eksperymentu.
Podczas trwania eksperymentu kampanii dane będą gromadzone w ramach przydziału kontroli i
eksperymentu na poziomie kampanii, grupy reklam i słowa kluczowego. Jeżeli wiersze
kontroli i eksperymentu dla jednej z kart nie są wyświetlane, można je włączyć, klikając pozycję
Segment, przesuwając kursor myszy w dół i klikając pozycję Eksperyment.
W miarę gromadzenia wyników w interfejsie pojawią się różne typy wskaźników
istotności statystycznej, dzięki którym można stwierdzić, czy porównywane dane
różnią się od siebie.
Różnica istotna statystycznie to taka, której przypadkowe wystąpienie jest mało prawdopodobne.
Jeśli dany parametr nie zmienił się o wielkość istotną statystycznie, jest możliwe, że
zmiana eksperymentalna nie miała na niego wpływu.
Szara ikona góra/dół oznacza, że dany parametr nie zmienił się o wielkość istotną statystycznie.
Zaobserwowane różnice mogą się mieścić w granicach błędu statystycznego.
Strzałka w górę oznacza, że dany parametr wzrósł o wielkość istotną statystycznie.
Jeżeli zmiany eksperymentalne zostaną zastosowane w przypadku wszystkich aukcji, ten parametr
powinien wzrosnąć.
Strzałka w dół oznacza, że dany parametr zmalał o wielkość istotną statystycznie.
Jeżeli zmiany eksperymentalne zostaną zastosowane w przypadku wszystkich aukcji, ten parametr
powinien się obniżyć.
W ramach wymienionych ikon wyróżniane są również trzy poziomy, które wskazują, na ile można
mieć pewność, że za wynikami stoją zmiany eksperymentalne, a nie przypadek:
Pojedyncza strzałka w górę lub w dół oznacza 95% prawdopodobieństwa, że parametr wzrósł
lub zmalał. Innymi słowy, według statystyki pełne wprowadzenie zmian eksperymentalnych
daje tylko 5% szans na to, że dany parametr nie przesunie się we wskazanym kierunku
przy zachowaniu pozostałych aspektów.
Dwie strzałki w górę lub w dół oznaczają 99% prawdopodobieństwa, że parametr wzrósł
lub zmalał. Innymi słowy, według statystyki pełne wprowadzenie zmian eksperymentalnych
daje tylko 1% szans na to, że dany parametr nie przesunie się we wskazanym kierunku
przy zachowaniu pozostałych aspektów.
Trzy strzałki w górę lub w dół oznaczają 99,9% prawdopodobieństwa, że parametr wzrósł
lub zmalał. Innymi słowy, według statystyki pełne wprowadzenie zmian eksperymentalnych
daje tylko 0,1% szans na to, że dany parametr nie przesunie się we wskazanym kierunku
przy zachowaniu pozostałych aspektów.
Należy pamiętać, że eksperyment, w którym przydział eksperymentu/kontroli nie wynosi
50/50 (ale na przykład 70/30 lub 20/80), statystyki kampanii zgromadzone w tych
przedziałach nie mogą być porównywane „jeden do jednego”. Załóżmy, że prowadzimy
eksperyment 90/10. Jeżeli w eksperymencie nie zostaną wprowadzone żadne zmiany,
w przydziale kontroli można się spodziewać 900 wyświetleń na każde 100 wyświetleń w przydziale
eksperymentu. Jeżeli więc w przydziale kontroli będzie 900 wyświetleń, a w przydziale
eksperymentu 400, wskazuje to na statystycznie istotny wzrost liczby wyświetleń
(ponieważ 400 to znacznie wyższa liczba niż 100, którą można osiągnąć bez dokonywania
zmian, co oznacza, że zastosowanie zmian powinno wpłynąć na wzrost liczby wyświetleń).
Dzieje się tak mimo tego, że nominalnie liczba 900 jest większa niż 400.
Porównanie w przypadku przydziału 50/50 jest znacznie prostsze (jeżeli zmiany nie wpływają na wyniki,
liczby absolutne powinny być takie same), a wiele kampanii nie ma odpowiednio wysokiego
natężenia ruchu, aby wyciągnąć trafne wnioski przy przydziałach innych niż 50/50. Z tego względu
zalecamy, aby większość reklamodawców prowadziła eksperymenty z przydziałem 50/50. W przeciwnym
razie niezbędne będą własne wyliczenia, aby określić domniemaną zmianę parametru (%), jeżeli zmiany
objęły wszystkie aukcje.