Daudziem uzņēmumiem, kas ikdienā izstrādā e-pasta mārketinga kampaņas vēl joprojām šķiet, ka A/B testēšana ir ārkārtīgi vienkārša – salīdzini A versiju ar B un tā, kas ieguvusi vairāk konversijas ir vinnējusi. Bet vai tā tik tiešām ir?
Mēs sakām: “Nebūt nē!”. Tās ir lamatas kurās iekrīt daudzi mārketinga jomas pārstāvji. Tiek velti iztērēti resursi un atziņas no kampaņas atdeves tiek balstītas uz nekvalitatīviem datiem.
Lai saprastu ko mēs ar to vēlamies pateikt, ir jāsaprot cik būtisku lomu testēšanā spēlē statistika, jeb tiešāk pētāmās grupas lielums un rezultātu ticamības aprēķins. Bez tam nenāktu par ļaunu izvirzīt hipotēzi pirms veicam A/B testu.
Hipotēzes izvirzīšana testam.
A/B testa veikšanai ir jābūt pamatotai un mērķtiecīgai darbībai, jo pretējā gadījumā tā izmantošana ir lieks laika patēriņš, jo nepieciešams izveidot dažādas variācijas jeb Subjectlines, lai būtu iespējams izmantot šo funkciju.
Diezgan būtisks padoms ir testēt nozīmīgas izmaiņas, turpretim, testēt kaut ko niecīgu un netaustāmu, kā krāsu vienai pogai var atļauties tikai kompānijas ar milzīgām datubāzēm.
Lai pamatotu A/B testa izmantošanu un veiksmīgāk sasniegtu e-pasta mārketinga kampaņas izsūtīšanas mērķi iesakām izvirzīt hipotēzi A/B testa veikšanai. Hipotēzes izveidei nepieciešams sagatavot tādus jautājumus kā:
- Kā mēs varam palīdzēt vieglāk un saprotamāk uztvert e-pasta kampaņu?
- (īsāks saturs, uztveramāks formatējums, mobilajam ierīcēm draudzīgas e-pasta vēstules tēmas (subjectlines), priekšskatījuma (preview) teksts, personalizēti attēli).
- Kā mēs varam vairāk tuvināties lietotāju ekspektacijām no mūsu piedāvātā produkta vai pakalpojuma?
- (izsūtīt e-pastu laikā, kad tas ir relevanti (welcome vēstule, pamesta pirkuma groza vēstule), testēt laiku, kad saņemt jaunumu vēstuli).
- Kā mēs varam sniegt lielāku ieguvumu klientam?
- (dažādi varianti kā nodefinēts viens piedāvājums, vārdu pielietojums, patestēt dažāda tipa saturu, tā dotās vērtības kontaktam, kas to lasa)
- Kā mēs varam palīdzēt fokusēties uz mērķi e-pastā?
- (atstāt tikai vienu CTA, vai parējos atšķirt, lieko no e-pasta vēstules izņemt, pievienot papildus izglītojošu soli automatizācijā, novirzīt uz piezemesanās lapu)
Hipotēzei ir jābūt nodefinētai tā, lai pēc sekmīga A/B testa veikšanas, tu spētu precīzi noteikt “kāpēc” tā nostrādāja.
Esam uzskaitījuši dažus no piemēriem kā veiksmīgi izteikt hipotēzes A/B testiem:
- Ja tiks saīsinātas e-pasta tēmas (subjectline) tā, lai tās netiek apgrieztas uz mobilo ierīču ekrāniem, palielināsies atvērto vēstuļu skaits, jo arī mobilajā ierīcē saņēmēji varēs pilnvērtīgi redzēt piedāvājumu vai pamudinājumu e-pasta atvēršanai.
- Ja tiks maksimāli vienkāršots e-pasta saturs, palielināsies klikšķi uz CTA (Call to Action) pogām, jo netiks novērsta uzmanība no galvenā e-pasta kampaņas mērķa.
- Ja tiks ieguldīts laiks interesanta un noderīga satura izstrādē, apvienojumā ar pārdošanas ziņām, ilgtermiņā palielināsies atvērto e-pasta vēstuļu skaits un sasniegta klientu uzticamība zīmolam.
Pētāmās grupas lielums.
Lai palielinātu iespējamību, ka izveidotais A/B tests būs statistiski derīgs un lai velti netiktu testēti visi pieejamās datubāzes kontakti, pirms A/B testa veikšanas iesakām aprēķināt pētāmās grupas lielumu. Jāpieblist, ka tas nebūt nav sarežģīts solis, jo pieejami dažādi pētāmo grupu aprēķina kalkulatori.
Visprecīzākais kalkulators būs tāds, kas iekļauj vēsturiski paredzamo vidējo atvērto e-pastu daudzumu un testa rezultātu sensivitāti (cik procentuāli lielas izmaiņas varēs redzēt):
http://www.evanmiller.org/ab-testing/sample-size.html
Tomēr pastāv arī pavisma vienkāršs kalkulators, kas pieprasa ievadīt vien ticamības līmeni, datubāzes lielumu un kļūdas pieļaujamības robežu. https://returnpath.com/sample-size-calculator/
Gala rezultātu ticamības pārbaude.
Jāatzīst, ka neeksistē perfektais scenārijs, ka visi pētāmās grupas subjekti mijiedarbosies ar tavu izstrādāto mārketinga kampaņu. Tieši tāpēc, ja vēlies būt pārliecināts par testa rezultātiem, ir jāveic ticamības aprēķins.
Pastāv dažādas statistiskās metodes, kas mēra ticamības līmeni, tomēr iesakām izmantot chi-squared test metodi, kas īpaši piemērota, lai pārbaudītu e-pasta kampaņu versiju ticamību.
Šajā vietnē esam pievienojuši kalkulatoru: http://www.evanmiller.org/ab-testing/chi-squared.html
Piemērs:
Izvēlējāmies testēt e-pasta vēstules tēmu (subject line).
Lai to izdarītu, sākotnēji kontroles grupas e-pasta vēstuli (A variants) ievietosim pie “Sample 1”, kur pie “trials” ievietosim saņemto (nevis kopā izsūtīto) e-pasta vēstuli. Turpretim pie “Successes” ievietosim unikālos atvērtos e-pasta kampaņu skaitu (unique open rate). Visbeidzot kā “Sample 2” ievietosim B versiju. Jāpiebilst, ja ir vairāk par “B” testa grupām, tad ir nepieciešams mainīt atbilstošo Sample uz atbilstošo versijas nosaukumu.
Daži padomi:
- Iesakām dokumentēt iegūtos testu rezultātus, lai arī citi koleģi vai sadarbības partneri var gūt vērtīgas atziņas un izmantot tās turpmākajās kampaņās.
- Vismaz reizi gadā nepieciešams atkārtot testus, lai pārliecinātos vai taviem klientiem nav mainījuises uztvere par saņemtajiem e-pastiem.
- Klientu uztvere var mainīties atkarībā no segmentiem. Ja veic A, B un X testēšanas versijas attiecībā uz visu esošo datubāzi, iespējams neuzrādīsies būtiskas izmaiņas. Savukārt, smalki sadalītiem segmentiem iespējams varēs redzēt iesaistes izmaiņas.