Aplikacja: Jak przeprowadzić test wielowymiarowy (kalkulator wielkości próby MVT)
Istnieją dwie metodologie testowania marketingu cyfrowego i optymalizacji doświadczeń użytkowników. Testy A / B i testowanie wieloczynnikowe (MVT). Oba podejścia mają na celu poprawę wydajności witryny, ale różnią się złożonością i zakresem. W tym artykule zdefiniujemy każdą metodę, porównamy mocne i słabe strony oraz poprowadzimy implementację testów wielowymiarowych.
Jeśli chcesz się dowiedzieć, jak przeprowadzić test A/B, opublikowaliśmy ten artykuł i niezbędne kalkulatory.
Spis treści
Testowanie A / B
Testowanie A/B lub podzielone testy, porównuje dwie wersje interfejsu strony internetowej lub aplikacji, aby określić, która działa lepiej. W teście A/B tworzysz dwie wersje swojej strony:
- Wersja A: Kontrola (wersja oryginalna)
- Wersja B: Wariant z jednym zmienionym elementem
Następnie ruch jest dzielony pomiędzy te dwie wersje, a skuteczność mierzona jest na podstawie wstępnie ustalonych wskaźników, takich jak współczynniki klikalności, konwersji lub zaangażowania.
Testowanie wielowymiarowe
MVT to bardziej złożona forma testowania, która porównuje wiele zmiennych jednocześnie. Zamiast testować pojedynczą zmianę, MVT bada, jak kombinacje zmian różnych elementów na stronie wpływają na ogólną wydajność.
Możesz na przykład jednocześnie testować różne nagłówki, obrazy i przyciski wezwania do działania, tworząc wiele kombinacji tych elementów.
Scenariusz z życia wzięty: MVT przewyższa testy A/B
Rozważmy B2B firma oprogramowania oferująca narzędzie do zarządzania projektami. Firma chce zoptymalizować swoją stronę z prośbami o demo, aby zwiększyć liczbę zapisów na demo. Decydują się przetestować następujące elementy:
- Nagłówek
- Obraz
- Wezwanie do działania (CTA) Przycisk
Podejście do testów A/B
Firma najpierw przeprowadza osobne testy A/B dla każdego elementu:
Test nagłówka
- Kontrola: Usprawnij zarządzanie projektami
- Zmiana: Zwiększ produktywność zespołu o 30%
Wynik: Zmienność przynosi korzyści w postaci 5% wzrostu liczby zapisów na wersję demonstracyjną.
Test obrazu
- Kontrola: Zrzut ekranu pulpitu nawigacyjnego
- Zmiana: Zdjęcie stockowe zespołu biznesowego
Wynik: Zwycięzca kontroli odnotował 3% wzrost liczby zapisów na wersję demonstracyjną.
Test CTA
- Kontrola: Poproś o demonstrację
- Zmiana: Rozpocznij darmowy okres próbny
Wynik: Zwycięzca kontroli odnotował 2% wzrost liczby zapisów na wersję demonstracyjną.
Na podstawie tych testów A/B firma wdrożyłaby zwycięskie wersje: „Zwiększ produktywność zespołu o 30%” nagłówek, zrzut ekranu pulpitu oprogramowania i przycisk CTA „Poproś o demo”. Łączny efekt może przynieść 10% wzrost rejestracji na demo.
Podejście do testowania wielowymiarowego
Teraz zobaczmy, jak test wielowymiarowy może dać różne wyniki. Firma tworzy MVT z następującymi wariantami:
Nagłówek
- Kontrola: Usprawnij zarządzanie projektami
- Zmiana: Zwiększ produktywność zespołu o 30%
Obraz
- Kontrola: Zrzut ekranu pulpitu nawigacyjnego
- Zmiana: Zdjęcie stockowe zespołu biznesowego
CTA
- Kontrola: Poproś o demonstrację
- Zmiana: Rozpocznij darmowy okres próbny
Tworzy to osiem możliwych kombinacji (2 x 2 x 2). Po uruchomieniu testu, oto wyniki:
| Nagłówek | Obraz | CTA | Wynik |
|---|---|---|---|
| Kontrola: „Usprawnij zarządzanie projektami” | Kontrola: Zrzut ekranu pulpitu oprogramowania | Kontrola: „Poproś o demo” | Baseline |
| Kontrola: „Usprawnij zarządzanie projektami” | Kontrola: Zrzut ekranu pulpitu oprogramowania | Wariant: „Rozpocznij bezpłatny okres próbny” | % Wzrost 2 |
| Kontrola: „Usprawnij zarządzanie projektami” | Wariacja: Obraz zróżnicowanego zespołu współpracującego | Kontrola: „Poproś o demo” | % Wzrost 5 |
| Kontrola: „Usprawnij zarządzanie projektami” | Wariacja: Obraz zróżnicowanego zespołu współpracującego | Wariant: „Rozpocznij bezpłatny okres próbny” | % Wzrost 8 |
| Wariant: „Zwiększ produktywność zespołu o 30%” | Kontrola: Zrzut ekranu pulpitu oprogramowania | Kontrola: „Poproś o demo” | % Wzrost 7 |
| Wariant: „Zwiększ produktywność zespołu o 30%” | Kontrola: Zrzut ekranu pulpitu oprogramowania | Wariant: „Rozpocznij bezpłatny okres próbny” | % Wzrost 10 |
| Wariant: „Zwiększ produktywność zespołu o 30%” | Wariacja: Obraz zróżnicowanego zespołu współpracującego | Kontrola: „Poproś o demo” | % Wzrost 12 |
| Wariant: „Zwiększ produktywność zespołu o 30%” | Wariacja: Obraz zróżnicowanego zespołu współpracującego | Wariant: „Rozpocznij bezpłatny okres próbny” | % Wzrost 18 |
Analiza
MVT ujawnia, że połączenie Zwiększ produktywność zespołu o 30% (H2), obraz zespołu biznesowego (I2) i Zacznij Free Trial (C2) daje najlepsze rezultaty, przy % Wzrost 18 w rejestracjach demo. Ten wynik różni się od tego, co sugerowały testy A/B, na dwa kluczowe sposoby:
- Obraz zespołu biznesowego wypada lepiej w połączeniu z nagłówkiem skoncentrowanym na produktywności, mimo że przegrywa w indywidualnym teście A/B. Sugeruje to efekt interakcji między nagłówkiem a obrazem, który nie został uchwycony w testach A/B.
- Zacznij Free Trial CTA działa najlepiej w tej kombinacji, mimo że przegrywa w indywidualnym teście A/B.
Całkowita poprawa (18%) jest znacznie większa, niż można by się spodziewać po prostym połączeniu zwycięskich elementów z testów A/B (około 10%).
Wyjaśnienie
Synergia między elementami zwycięskiej kombinacji może być wyjaśniona w następujący sposób:
- Zwiększ produktywność zespołu o 30% Nagłówek zawiera mocną, wymierną obietnicę, która jest atrakcyjna dla decydentów biznesowych.
- Obraz zespołu biznesowego wzmacnia ideę zwiększonej produktywności i pracy zespołowej, sprawiając, że obietnica ta staje się bardziej namacalna i wiarygodna.
- Zacznij Free Trial CTA obniża barierę wejścia w porównaniu do Poproś o demonstrację, umożliwiając potencjalnym klientom doświadczenie zwiększenia produktywności na własnej skórze, bez konieczności umawiania się na prezentację.
To połączenie skutecznie opowiada spójną historię: oto znacząca poprawa produktywności (nagłówek), która przynosi korzyści Twojemu zespołowi (obraz) i możesz zacząć jej doświadczać od razu, bez żadnych zobowiązań (CTA).
Ten scenariusz pokazuje, jak testowanie wielowymiarowe może odkryć potężne kombinacje elementów, które mogłyby zostać pominięte w przypadku samego testowania A/B. Testując te elementy razem, firma odkryła efekt synergii, który przyniósł lepsze rezultaty niż optymalizacja każdego elementu osobno. Podkreśla to wartość MVT w identyfikowaniu, w jaki sposób różne elementy strony współpracują ze sobą, aby wpływać na zachowanie użytkownika i napędzać konwersje w kontekście B2B.
Złożoność testów wielowymiarowych
Testowanie wielowymiarowe jest z natury bardziej złożone niż testowanie A/B z kilku powodów:
- Wiele zmiennych:MVT testuje kilka zmian jednocześnie, co wykładniczo zwiększa liczbę możliwych kombinacji.
- Większy rozmiar próbki:Ze względu na zwiększoną liczbę wariantów, analiza MVT wymaga większej próby, aby osiągnąć istotność statystyczną.
- Dłuższy czas trwania:Testy MVT zazwyczaj trwają dłużej niż testy A/B ze względu na wymóg większej liczebności próby.
- Bardziej złożona analizaInterpretacja wyników MVT może być trudna, ponieważ trzeba zrozumieć, jak różne elementy oddziałują na siebie.
- Zasobochłonne:Tworzenie i zarządzanie wieloma wariantami wymaga więcej czasu, wysiłku, a często także specjalistycznych narzędzi.
Zalety testowania wielowymiarowego
Mimo swojej złożoności, testy wielowymiarowe oferują szereg istotnych zalet:
- Całościowa optymalizacja:MVT umożliwia optymalizację wielu elementów strony jednocześnie, zapewniając pełniejszy obraz czynników wpływających na wydajność.
- Efekty interakcji:Jedną z kluczowych zalet MVT jest możliwość ujawnienia, jak różne elementy współpracują ze sobą. Może to odkryć synergie między elementami, które mogą nie być widoczne w izolowanych testach A/B.
- Skuteczne testowanie:Choć pojedyncze testy MVT mogą trwać dłużej, potencjalnie mogą zastąpić wiele kolejnych testów A/B, oszczędzając czas w dłuższej perspektywie.
- Niuanse wglądu:MVT może zapewnić bardziej szczegółowy wgląd w preferencje i zachowania użytkowników, pomagając w udoskonaleniu strategii projektowania i treści.
Proces testowania wielowymiarowego
Oto proces przeprowadzania testu wielowymiarowego krok po kroku:
- Zidentyfikuj zmienne: Określ, które elementy na swojej stronie chcesz przetestować. Typowe elementy to nagłówki, obrazy, wezwania do działania i układ.
- Utwórz warianty: Dla każdego elementu utwórz alternatywne wersje. Pamiętaj, że całkowita liczba kombinacji będzie iloczynem liczby wariantów każdego elementu.
- Skonfiguruj test: Użyj narzędzia do testowania wielowymiarowego, aby skonfigurować test. Obejmuje to tworzenie różnych kombinacji i ustawianie reguł przydziału ruchu.
- Określ wielkość próby: Oblicz wymagany rozmiar próby, aby osiągnąć istotność statystyczną. Będzie to zależeć od liczby wariantów i pożądanego poziomu ufności.
Kalendarz wielkości próby testów wielowymiarowych
%
%
- Uruchom test: Uruchom test i pozwól mu działać, aż osiągnie wymagany rozmiar próbki lub upłynie ustalony z góry limit czasu.
- Analizuj wyniki: Użyj swojego narzędzia testowego, aby przeanalizować wydajność różnych kombinacji. Szukaj zarówno zwycięskich kombinacji, jak i spostrzeżeń na temat interakcji elementów.
- Wdrażaj i powtarzaj: Zastosuj zwycięską kombinację na swojej stronie na żywo i wykorzystaj uzyskane informacje, aby udzielić informacji na temat przyszłych testów.
Narzędzia do testowania wielowymiarowego
Istnieje kilka narzędzi, które mogą okazać się pomocne w testowaniu wieloczynnikowym:
- Cel Adobe:Jest częścią usługi Adobe Experience Cloud i zapewnia rozbudowane funkcje testowania i personalizacji.
- Optimizely:Kompleksowa platforma eksperymentalna obsługująca zaawansowane testy wielowymiarowe.
- Unbounce:Choć Unbounce jest znane przede wszystkim ze stron docelowych, oferuje również funkcje testowania wieloczynnikowego.
- VWO (Wizualny optymalizator witryn): Oferuje przyjazny użytkownikowi interfejs do konfigurowania i analizowania testów wielowymiarowych.
Podczas gdy testowanie A/B jest prostsze i szybsze do wdrożenia, testowanie wielowymiarowe oferuje bardziej kompleksowe podejście do optymalizacji. Rozumiejąc mocne i słabe strony każdej metody, możesz wybrać właściwą strategię testowania dla swoich konkretnych potrzeb i zasobów.
Związane z Martech Zone Treść
