Optimizely Intelligence Cloud: jak używać silnika statystyk do testowania A/B mądrzej i szybciej

Optimizely Stats Engine i strategie testów A/B

Jeśli chcesz uruchomić program eksperymentalny, który pomoże Twojej firmie w testowaniu i uczeniu się, prawdopodobnie korzystasz Optymalizuj chmurę inteligencji – albo przynajmniej na to spojrzałeś. Optimizely jest jednym z najpotężniejszych narzędzi w grze, ale jak każde takie narzędzie, możesz go źle używać, jeśli nie rozumiesz, jak to działa. 

Co sprawia, że ​​Optimizely jest tak potężny? Podstawą zestawu funkcji jest najbardziej poinformowany i intuicyjny silnik statystyczny w narzędziu innej firmy, który pozwala skupić się bardziej na przeprowadzaniu ważnych testów na żywo – bez obawy, że błędnie interpretujesz wyniki. 

Podobnie jak tradycyjne ślepe studia w medycynie, Testy A / B losowo pokaże różne zabiegi witryny różnym użytkownikom, aby następnie porównać skuteczność każdego leczenia. 

Statystyki pomagają nam następnie wnioskować, jak skuteczne może być to leczenie w dłuższej perspektywie. 

Większość narzędzi do testowania A/B opiera się na jednym z dwóch typów wnioskowania statystycznego: statystykach częstych lub bayesowskich. Każda szkoła ma różne zalety i wady – statystyki częstych wymagają ustalenia wielkości próby przed przeprowadzeniem eksperymentu, a statystyki bayesowskie skupiają się głównie na podejmowaniu właściwych decyzji kierunkowych, a nie na określaniu pojedynczej liczby dla wpływu, by wymienić dwa przykłady. Supermocą Optimizely jest to, że jest to jedyne narzędzie dostępne obecnie na rynku, które umożliwia najlepsze z obu światów podejście.

Efekt końcowy? Optimizely umożliwia użytkownikom szybsze, bardziej niezawodne i bardziej intuicyjne przeprowadzanie eksperymentów.

Aby jednak w pełni to wykorzystać, ważne jest, aby zrozumieć, co dzieje się za kulisami. Oto 5 spostrzeżeń i strategii, które pozwolą Ci korzystać z możliwości Optimizely jak profesjonalista.

Strategia nr 1: Zrozum, że nie wszystkie dane są sobie równe

W większości narzędzi testowych często pomijanym problemem jest to, że im więcej metryk dodasz i śledzisz w ramach testu, tym większe prawdopodobieństwo, że zobaczysz nieprawidłowe wnioski z powodu losowej szansy (w statystykach jest to nazywane „problemem z wielokrotnym testowaniem ”). Aby wyniki były wiarygodne, Optimizely wykorzystuje szereg kontroli i korekt, aby zminimalizować prawdopodobieństwo takiego zdarzenia. 

Te kontrole i poprawki mają dwie konsekwencje, gdy przechodzisz do konfiguracji testów w Optimizely. Po pierwsze, metryka, którą wyznaczasz jako swój Podstawowa metryka najszybciej osiągnie istotność statystyczną, wszystkie inne rzeczy będą stałe. Po drugie, im więcej danych dodasz do eksperymentu, tym dłużej zajmie Ci osiągnięcie istotności statystycznej późniejszych danych.

Planując eksperyment, upewnij się, że wiesz, która metryka będzie Twoją Prawdziwą Północą w procesie podejmowania decyzji, uczyń ją swoim Podstawowym Miernikiem. Następnie utrzymuj resztę listy wskaźników, usuwając wszystko, co jest zbyt zbędne lub niejasne.

Strategia nr 2: Zbuduj własne niestandardowe atrybuty

Optimizely doskonale nadaje się do udostępniania kilku interesujących i pomocnych sposobów segmentowania wyników eksperymentu. Możesz na przykład sprawdzić, czy określone metody działają lepiej na komputerach i urządzeniach mobilnych, lub zaobserwować różnice w różnych źródłach ruchu. Jednak w miarę dojrzewania programu eksperymentów szybko będziesz potrzebować nowych segmentów – mogą one być specyficzne dla Twojego przypadku użycia, na przykład segmenty zakupów jednorazowych w porównaniu z subskrypcjami, lub tak ogólne, jak „nowi a powracający użytkownicy” (co, szczerze mówiąc, nadal nie możemy dowiedzieć się, dlaczego nie jest to dostarczane po wyjęciu z pudełka).

Dobrą wiadomością jest to, że za pomocą pola Project Javascript w Optimizely inżynierowie zaznajomieni z Optimizely mogą zbudować dowolną liczbę interesujących niestandardowych atrybutów, do których odwiedzający mogą być przypisani i według nich segmentowani. W Cro Metrics zbudowaliśmy szereg modułów magazynowych (takich jak „nowi a powracający odwiedzający”), które instalujemy dla wszystkich naszych klientów za pośrednictwem ich JavaScript projektu. Wykorzystanie tej umiejętności jest kluczowym wyróżnikiem między dojrzałymi zespołami, które mają odpowiednie zasoby techniczne, aby pomóc im w realizacji, a zespołami, które mają trudności z wykorzystaniem pełnego potencjału eksperymentowania.

Strategia nr 3: Poznaj akcelerator statystyk Optimizely

Jedną z często przereklamowanych funkcji narzędzia do testowania jest możliwość korzystania z „wielorękich bandytów”, rodzaju algorytmu uczenia maszynowego, który dynamicznie zmienia miejsce, w którym przydzielany jest ruch w trakcie eksperymentu, aby wysłać jak najwięcej odwiedzających do „zwycięskiego” zmienność jak to możliwe. Problem z wielorękimi bandytami polega na tym, że ich wyniki nie są wiarygodnymi wskaźnikami długoterminowej wydajności, więc przypadki użycia tego rodzaju eksperymentów są ograniczone do przypadków, w których czas ma znaczenie, takich jak promocje sprzedaży.

Optimizely ma jednak inny typ algorytmu bandytów dostępny dla użytkowników z wyższymi planami – Stats Accelerator (obecnie znany jako opcja „Przyspiesz naukę” w Bandits). W tej konfiguracji, zamiast próbować dynamicznie przypisywać ruch do odmiany o najwyższej skuteczności, Optimizely dynamicznie przypisuje ruch do odmian, które z największym prawdopodobieństwem osiągają istotność statystyczną najszybciej. W ten sposób możesz szybciej się uczyć i zachować powtarzalność tradycyjnych wyników testów A/B.

Strategia nr 4: Dodaj emotikony do nazw metrycznych

Na pierwszy rzut oka ten pomysł prawdopodobnie brzmi nie na miejscu, nawet idiotycznie. Jednak kluczowy aspekt upewnienia się, że czytasz właściwe wyniki eksperymentu, zaczyna się od upewnienia się, że Twoi odbiorcy zrozumieją pytanie. 

Czasami pomimo naszych najlepszych starań nazwy wskaźników mogą być mylące (poczekaj – czy te dane są uruchamiane, gdy zamówienie zostanie zaakceptowane lub gdy użytkownik trafi na stronę z podziękowaniami?) albo eksperyment zawiera tak wiele wskaźników, że przewijanie wyników w górę i w dół strona prowadzi do całkowitego przeciążenia poznawczego.

Dodanie emotikonów do nazw metryk (cele, zielone znaczniki wyboru, a nawet duża torba pieniędzy może działać) może sprawić, że strony będą znacznie łatwiejsze do zeskanowania. 

Zaufaj nam – odczytanie wyników będzie znacznie łatwiejsze.

Strategia nr 5: Ponownie rozważ swój poziom istotności statystycznej

Wyniki są uznawane za rozstrzygające w kontekście eksperymentu Optimizely po ich osiągnięciu znaczenie statystyczne. Istotność statystyczna to trudny termin matematyczny, ale zasadniczo jest to prawdopodobieństwo, że twoje obserwacje są wynikiem rzeczywistej różnicy między dwiema populacjami, a nie tylko przypadkowym przypadkiem. 

Podane przez Optimizely poziomy istotności statystycznej są „zawsze ważne” dzięki matematycznej koncepcji zwanej testowanie sekwencyjne – to faktycznie czyni je znacznie bardziej niezawodnymi niż te z innych narzędzi testowych, które są podatne na różnego rodzaju „podglądanie” problemów, jeśli przeczytasz je zbyt wcześnie.

Warto zastanowić się, jaki poziom istotności statystycznej uważasz za ważny dla swojego programu testowania. Chociaż 95% jest konwencją w społeczności naukowej, testujemy zmiany w witrynie, a nie szczepionki. Kolejny powszechny wybór w świecie eksperymentalnym: 90%. Ale czy chcesz zaakceptować nieco więcej niepewności, aby szybciej przeprowadzać eksperymenty i testować więcej pomysłów? Czy możesz użyć 85% lub nawet 80% istotności statystycznej? Świadome podejście do równowagi ryzyko-nagroda może z czasem przynieść wykładnicze dywidendy, więc dobrze się zastanów.

Przeczytaj więcej o chmurze Optimizely Intelligence

Te pięć szybkich zasad i spostrzeżeń będzie niezwykle pomocnych, o których warto pamiętać podczas korzystania z Optimizely. Jak w przypadku każdego narzędzia, sprowadza się to do upewnienia się, że dobrze rozumiesz wszystkie zakulisowe dostosowania, dzięki czemu możesz mieć pewność, że korzystasz z narzędzia wydajnie i skutecznie. Dzięki temu zrozumieniu możesz uzyskać wiarygodne wyniki, których szukasz, kiedy ich potrzebujesz. 

Co o tym myślisz?

Ta strona używa Akismet do redukcji spamu. Dowiedz się, jak przetwarzane są dane komentarza.