Wskazówki dotyczące testów A / B w eksperymentach w Google Play

Google play

Dla programistów aplikacji na Androida: Eksperymenty w Google Play może dostarczyć cennych informacji i pomóc zwiększyć liczbę instalacji. Przeprowadzenie dobrze zaprojektowanego i zaplanowanego testu A / B może mieć wpływ na to, czy użytkownik zainstaluje Twoją aplikację, czy konkurencja. Jednak istnieje wiele przypadków, w których testy zostały nieprawidłowo uruchomione. Te błędy mogą wpływać na aplikację i negatywnie wpływać na jej działanie.

Oto przewodnik dotyczący używania Eksperymenty w Google Play dla Testy A / B.

Konfigurowanie eksperymentu w Google Play

Dostęp do konsoli eksperymentów można uzyskać z panelu aplikacji w Google Play Developer Console. Iść do Obecność w sklepie po lewej stronie ekranu i wybierz Eksperymenty z informacjami o sklepie. W tym miejscu możesz wybrać „Nowy eksperyment” i skonfigurować test.

Istnieją dwa rodzaje eksperymentów, które możesz przeprowadzić: Domyślny eksperyment graficzny i Zlokalizowany eksperyment. Domyślny eksperyment graficzny będzie uruchamiał testy tylko w regionach z językiem wybranym jako domyślnym. Z kolei Localized Experiment przeprowadzi test w dowolnym regionie, w którym jest dostępna Twoja aplikacja.

Pierwsza z nich pozwala przetestować kreatywne elementy, takie jak ikony i zrzuty ekranu, podczas gdy druga pozwala przetestować krótkie i długie opisy.

Wybierając warianty testów, pamiętaj, że im więcej wariantów testujesz, tym dłużej może upłynąć, zanim uzyskasz przydatne wyniki. Zbyt wiele wariantów może sprawić, że testy będą wymagały więcej czasu i ruchu, aby ustalić przedział ufności, który określa możliwy wpływ konwersji.

Zrozumienie wyników eksperymentu

Podczas przeprowadzania testów można mierzyć wyniki na podstawie liczby użytkowników, którzy zainstalowali się po raz pierwszy lub tych, którzy zainstalowali po raz pierwszy (jeden dzień). Użytkownicy, którzy zainstalowali aplikację po raz pierwszy, to łączna liczba konwersji powiązanych z wariantem, przy czym użytkownicy, którzy zainstalowali aplikację po raz pierwszy, to użytkownicy, którzy zachowali aplikację po pierwszym dniu.

Konsola dostarcza również informacji o aktualnych (użytkownicy, którzy mają zainstalowaną aplikację) i skalowanych (ile instalacji hipotetycznie uzyskałbyś, gdyby wariant otrzymał 100% ruchu w okresie testowym).

Eksperymenty w Google Play i testy A / B

90% przedział ufności jest generowany po przeprowadzeniu testu wystarczająco długo, aby uzyskać przydatne informacje. Pokazuje czerwono-zielony pasek, który wskazuje, jak teoretycznie dostosowałyby się konwersje, gdyby wariant został wdrożony na żywo. Jeśli pasek jest zielony, oznacza to przesunięcie dodatnie, czerwony, jeśli jest ujemny, i / lub oba kolory oznaczają, że może się zmieniać w dowolnym kierunku.

Sprawdzone metody do rozważenia przy testach A / B w Google Play

Kiedy przeprowadzasz test A / B, będziesz chciał poczekać, aż zostanie ustalony przedział ufności, zanim wyciągniesz jakiekolwiek wnioski. Instalacje na wariant mogą się zmieniać w trakcie procesu testowania, więc bez przeprowadzania testu wystarczająco długo, aby ustalić poziom pewności, warianty mogą działać inaczej, gdy zostaną zastosowane na żywo.

Jeśli liczba odwiedzin jest niewystarczająca, aby określić przedział ufności, możesz porównać trendy konwersji tydzień po tygodniu, aby sprawdzić, czy pojawiają się jakiekolwiek spójności.

Będziesz także chciał śledzić wpływ po wdrożeniu. Nawet jeśli przedział ufności stwierdza, że ​​wariant testu działałby lepiej, jego rzeczywiste wyniki mogą się różnić, zwłaszcza jeśli występował interwał czerwony / zielony.

Po wdrożeniu wariantu testowego miej oko na wrażenia i obserwuj, jak wpływa na nie. Rzeczywisty wpływ może być inny niż przewidywano.

Po ustaleniu, które warianty działają najlepiej, zechcesz powtórzyć i zaktualizować. Jednym z celów testów A / B jest znalezienie nowych sposobów na poprawę. Po nauczeniu się, co działa, możesz tworzyć nowe warianty, pamiętając o wynikach.

Eksperymenty w Google Play i wyniki testów A / B

Na przykład podczas pracy z AVIS Gummicube przeszedł wiele rund testów A / B. Pomogło to określić, jakie elementy kreatywne i komunikaty są najbardziej przekonwertowane dla użytkowników. Takie podejście przyniosło 28% wzrost konwersji z samych testów graficznych funkcji.

Iteracja jest ważna dla rozwoju Twojej aplikacji. Pomaga Ci to nieustannie zwiększać liczbę konwersji w miarę wzrostu wysiłków.

Wnioski

Testy A / B mogą być świetnym sposobem na ulepszenie aplikacji i ogólnie Optymalizacja App Store. Konfigurując test, upewnij się, że ograniczyłeś liczbę wariantów testowanych jednocześnie, aby przyspieszyć wyniki testu.

Podczas testu monitoruj, jak wpływa to na Twoje instalacje i jakie informacje wyświetla przedział ufności. Im więcej użytkowników widzi Twoją aplikację, tym większe są Twoje szanse na ustalenie stałego trendu potwierdzającego wyniki.

Na koniec będziesz chciał stale iterować. Każda iteracja może pomóc Ci dowiedzieć się, co konwertuje użytkowników najlepiej, dzięki czemu możesz lepiej zrozumieć, jak zoptymalizować aplikację i jak ją skalować. Podejmując metodyczne podejście do testów A / B, programista może pracować nad dalszym rozwojem swojej aplikacji.

Co o tym myślisz?

Ta strona używa Akismet do redukcji spamu. Dowiedz się, jak przetwarzane są dane komentarza.