Dlatego zawsze chcemy wiedzieć, jak to zrobić marcom (komunikacja marketingowa), zarówno jako narzędzie, jak i dla indywidualnej kampanii. W ocenie marcom często stosuje się proste testy A / B. Jest to technika, w której losowe pobieranie próbek obejmuje dwie komórki do traktowania w kampanii.
Jedna komórka przechodzi test, a druga nie. Następnie porównuje się wskaźnik odpowiedzi lub dochód netto między dwiema komórkami. Jeśli komórka testowa przewyższa komórkę kontrolną (w ramach testowych parametrów wzrostu, ufności itp.) Kampania jest uważana za znaczącą i pozytywną.
Po co robić coś innego?
Jednak tej procedurze brakuje generowania wglądu. Nie optymalizuje niczego, jest wykonywany w próżni, nie daje implikacji dla strategii i nie ma kontroli dla innych bodźców.
Po drugie, zbyt często test jest zanieczyszczony tym, że co najmniej jedna z komórek przypadkowo otrzymała inne oferty, komunikaty dotyczące marki, komunikaty itp. Ile razy wyniki testu uznano za niejednoznaczne, a nawet pozbawione sensu? Więc testują raz po raz. Niczego się nie uczą, poza tym, że testowanie nie działa.
Dlatego zalecam stosowanie zwykłej regresji do kontroli wszystkich innych bodźców. Modelowanie regresji daje również wgląd w wycenę marcom, która może generować zwrot z inwestycji. Nie odbywa się to w próżni, ale zapewnia opcje w postaci portfela w celu optymalizacji budżetu.
Przykład
Załóżmy, że testowaliśmy dwa e-maile, test kontra kontrola, a wyniki okazały się bezsensowne. Potem dowiedzieliśmy się, że nasz dział marki przypadkowo wysłał wiadomość pocztą bezpośrednią (głównie) do grupy kontrolnej. Ten kawałek nie został zaplanowany (przez nas) ani uwzględniony w losowym doborze komórek testowych. Oznacza to, że grupa działająca jak zwykle otrzymała zwykłą pocztę bezpośrednią, ale grupa testowa - która została zatrzymana - nie. Jest to bardzo typowe dla korporacji, w której jedna grupa nie pracuje ani nie komunikuje się z inną jednostką biznesową.
Dlatego zamiast testować, w których każdy wiersz jest klientem, zestawiamy dane według przedziałów czasu, powiedzmy co tydzień. Sumujemy tygodniowo liczbę wysłanych e-maili testowych, e-maili kontrolnych i e-maili bezpośrednich. Uwzględniamy również zmienne binarne, aby uwzględnić sezon, w tym przypadku kwartalne. TABELA 1 przedstawia częściową listę agregatów z testem e-mail rozpoczynającym się w 10. tygodniu. Teraz wykonujemy model:
Zwykły model regresji, jak sformułowano powyżej, daje wynik w TABELI 2. Uwzględnij wszelkie inne interesujące zmienne niezależne. Na szczególną uwagę zasługuje fakt, że cena (netto) jest wykluczona jako zmienna niezależna. Dzieje się tak, ponieważ przychód netto jest zmienną zależną i jest obliczany jako cena (netto) * ilość.
TABELA 1
| tydzień | em_test | em_cntrl | dir_mail |  |
 |
 |
net_rev |
|---|---|---|---|---|---|---|---|
| 9 | 0 | 0 | 55 | 1 | 0 | 0 | $ 1,950 |
| 10 | 22 | 35 | 125 | 1 | 0 | 0 | $ 2,545 |
| 11 | 23 | 44 | 155 | 1 | 0 | 0 | $ 2,100 |
| 12 | 30 | 21 | 75 | 1 | 0 | 0 | $ 2,675 |
| 13 | 35 | 23 | 80 | 1 | 0 | 0 | $ 2,000 |
| 14 | 41 | 37 | 125 | 0 | 1 | 0 | $ 2,900 |
| 15 | 22 | 54 | 200 | 0 | 1 | 0 | $ 3,500 |
| 16 | 0 | 0 | 115 | 0 | 1 | 0 | $ 4,500 |
| 17 | 0 | 0 | 25 | 0 | 1 | 0 | $ 2,875 |
| 18 | 0 | 0 | 35 | 0 | 1 | 0 | $ 6,500 |
Uwzględnienie ceny jako zmiennej niezależnej oznacza posiadanie ceny po obu stronach równania, co jest niewłaściwe. (Moja książka, Marketing Analytics: praktyczny przewodnik po prawdziwych naukach o marketingu, zawiera obszerne przykłady i analizę tego problemu analitycznego.) Skorygowany współczynnik R2 dla tego modelu wynosi 64%. (Zrzuciłem q4, aby uniknąć fałszywej pułapki.) Emc = e-mail kontrolny i emt = e-mail testowy. Wszystkie zmienne są istotne na poziomie 95%.
TABELA 2
|
|
|
dm | emc | EMT | const | |
|---|---|---|---|---|---|---|---|
| coeff | -949 | -1,402 | -2,294 | 12 | 44 | 77 | 5,039 |
| zabłądzić | 474.1 | 487.2 | 828.1 | 2.5 | 22.4 | 30.8 | |
| współczynnik t | -2 | -2.88 | -2.77 | 4.85 | 1.97 | 2.49 |
Jeśli chodzi o test e-mailowy, testowy e-mail przewyższył e-mail kontrolny o 77 vs 44 i był znacznie bardziej znaczący. Zatem biorąc pod uwagę inne rzeczy, testowy e-mail zadziałał. Te spostrzeżenia pojawiają się nawet wtedy, gdy dane są zanieczyszczone. Test A / B by tego nie dał.
W TABELI 3 uwzględniono współczynniki do obliczenia wyceny marcom, czyli udziału każdego pojazdu w przychodach netto. Oznacza to, że aby obliczyć wartość przesyłek reklamowych, należy pomnożyć współczynnik 12 przez średnią liczbę wysłanych przesyłek reklamowych z 109, aby otrzymać 1,305 4,057 USD. Klienci wydają średnio XNUMX USD. A zatem 1,305 USD / 4,057 USD = 26.8%. Oznacza to, że poczta bezpośrednia stanowiła prawie 27% całkowitego dochodu netto. Pod względem zwrotu z inwestycji 109 bezpośrednich wiadomości e-mail generuje 1,305 USD. Jeśli katalog kosztuje 45 $, to ROI = (1,305 USD - 55 USD) / 55 USD = 2300%!
Ponieważ cena nie była zmienną niezależną, zwykle stwierdza się, że wpływ ceny jest ukryty w stałej. W tym przypadku stała 5039 obejmuje cenę, wszelkie inne brakujące zmienne i błąd losowy, czyli około 83% dochodu netto.
TABELA 3
|
|
|
dm | emc | EMT | const | |
|---|---|---|---|---|---|---|---|
| Współczynnik | -949 | -1,402 | -2,294 | 12 | 44 | 77 | 5,039 |
| oznaczać | 0.37 | 0.37 | 0.11 | 109.23 | 6.11 | 4.94 | 1 |
| $ 4,875 | - $ 352 | - $ 521 | - $ 262 | $ 1,305 | $ 269 | $ 379 | $ 4,057 |
| wartość | -7.20% | -10.70% | -5.40% | 26.80% | 5.50% | 7.80% | 83.20% |
Wnioski
Zwykła regresja stanowiła alternatywę dla uzyskania wglądu w brudne dane, jak to często ma miejsce w korporacyjnym systemie testowania. Regresja zapewnia również wkład w dochód netto, a także uzasadnienie biznesowe dla zwrotu z inwestycji. Zwykła regresja jest alternatywną techniką w zakresie wyceny marcom.
Niezła alternatywa dla praktycznego problemu, Mike.
Tak jak to zrobiłeś, wydaje mi się, że komunikatory docelowe nie pokrywają się w ostatnich tygodniach. W przeciwnym razie miałbyś komponent autoregresyjny i / lub opóźniony w czasie?
Biorąc sobie do serca krytykę dotyczącą optymalizacji, jak można wykorzystać ten model do optymalizacji wydatków na kanał?