Optimizely Intelligence Cloud: Hvernig á að nota tölfræði vél til að A/B prófa snjallari og hraðar

Optimisely Stats vél og A/B prófunaraðferðir

Ef þú ert að leita að því að keyra tilraunaverkefni til að hjálpa fyrirtækinu þínu að prófa og læra er líklegt að þú notir það Optimizely Intelligence Cloud - eða þú hefur að minnsta kosti horft á það. Optimizely er eitt öflugasta tæki leiksins, en eins og öll slík tæki gætirðu notað það rangt ef þú skilur ekki hvernig það virkar. 

Hvað gerir Optimizely svona öflugt? Kjarni eiginleikasettsins er upplýsta og innsæi tölfræðivélin í tæki frá þriðja aðila, sem gerir þér kleift að einbeita þér meira að því að fá mikilvægar prófanir í beinni útsendingu-án þess að þurfa að hafa áhyggjur af því að þú sért að túlka niðurstöður þínar rangt. 

Líkt og hefðbundið blindnám í læknisfræði, A / B próf mun af handahófi sýna öðruvísi meðferðir vefsíðunnar þinnar við mismunandi notendur til að bera saman árangur hverrar meðferðar. 

Tölfræði hjálpar okkur síðan að álykta um hversu árangursrík sú meðferð getur verið til lengri tíma litið. 

Flest A/B prófunartæki treysta á eina af tveimur gerðum tölfræðilegrar ályktunar: Tíðnistölu eða Bayesian tölfræði. Hver skóli hefur ýmsa kosti og galla - Tíðnistölfræði krefst þess að úrtaksstærð sé ákveðin áður en tilraun er keyrð og Bayesian tölfræði er aðallega sama um að taka góðar stefnumótandi ákvarðanir frekar en að tilgreina eina tölu fyrir áhrif, svo tvö dæmi séu nefnd. Ofurkraftur Optimizely er að það er eina tækið á markaðnum í dag til að taka a bestur af báðum heimum nálgun.

Niðurstaðan? Optimizely gerir notendum kleift að keyra tilraunir hraðar, áreiðanlegri og innsæi.

Til þess að nýta það til fulls er þó mikilvægt að skilja hvað er að gerast á bak við tjöldin. Hér eru 5 innsýn og aðferðir sem fá þig til að nota getu Optimizely eins og atvinnumaður.

Stefna #1: Gerðu þér grein fyrir því að ekki eru allir mælikvarðar búnir til jafnir

Í flestum prófunartækjum er algengt mál sem gleymist að því fleiri mælikvarða sem þú bætir við og fylgist með sem hluti af prófinu þínu, því meiri líkur eru á því að þú sjáir rangar ályktanir vegna tilviljanakenndra tilvika (í tölfræði er þetta kallað „margfalt prófunarvandamál “). Til að halda niðurstöðum sínum áreiðanlegum notar Optimizely röð stjórntækja og leiðréttinga til að halda líkunum á því að það gerist eins lítið og mögulegt er. 

Þessar stýringar og leiðréttingar hafa tvær afleiðingar þegar þú ferð að setja upp próf í Optimizely. Í fyrsta lagi mælikvarðinn sem þú tilnefnir sem þinn Aðal mælikvarði mun ná tölfræðilegri þýðingu hraðast, allt annað stöðugt. Í öðru lagi, því fleiri mælikvarða sem þú bætir við tilraun, því lengri tíma mun seinna mælikvarði þinn taka til að ná tölfræðilegri þýðingu.

Þegar þú skipuleggur tilraun, vertu viss um að þú vitir hvaða mælikvarði verður þitt sanna norður í ákvarðanatökuferlinu, gerðu það að aðalmælikvarða þínum. Haltu síðan restinni af mælikvarðalistanum þínum halla með því að fjarlægja allt sem er of óþarft eða snertilegt.

Stefna #2: Búðu til þína eigin sérsniðnu eiginleika

Optimizely er frábær til að gefa þér nokkrar áhugaverðar og gagnlegar leiðir til að skipta niðurstöðum tilrauna þinna. Til dæmis getur þú skoðað hvort tilteknar meðferðir skila betri árangri á skjáborði á móti farsíma eða fylgjast með mismun milli umferðaraðila. Þegar tilraunaverkefni þitt þroskast þó muntu fljótt óska ​​eftir nýjum hlutum-þetta getur verið sérstakt fyrir notkunartilvikið þitt, eins og hluti fyrir kaup á einu móti móti áskrift, eða eins almennt og „nýir vs. komandi gestir“ (sem, í hreinskilni sagt, við getum enn ekki fundið út hvers vegna það er ekki veitt úr kassanum).

Góðu fréttirnar eru þær að með Optimizely's Project Javascript sviði geta verkfræðingar sem þekkja Optimizely smíðað fjölda áhugaverðra sérsniðinna eiginleika sem hægt er að úthluta og deila gestum með. Hjá Cro Metrics höfum við smíðað fjölda birgðaeininga (eins og „nýir vs. komandi gestir“) sem við setjum upp fyrir alla viðskiptavini okkar í gegnum Project Javascript þeirra. Að nýta þessa hæfileika er lykilmunur á þroskuðum teymum sem hafa rétt tæknileg úrræði til að hjálpa þeim að framkvæma og teymi sem eiga í erfiðleikum með að átta sig á fullum möguleikum tilrauna.

Stefna #3: Kannaðu Optimizely's Stats Accelerator

Eitt sem oft er ofhýðið prófunartæki er hæfileikinn til að nota „fjölvígða ræningja“, tegund af vélrænni reiknirit sem breytir kraftmiklu þar sem umferð þinni er úthlutað meðan á tilraun stendur, til að senda eins marga gesti í „sigrandi“ afbrigði eins og hægt er. Málið með fjölvígða ræningja er að niðurstöður þeirra eru ekki áreiðanlegar vísbendingar um langtímaárangur, þannig að notkunartilvik fyrir þessar tegundir tilrauna eru takmarkaðar við tímaviðkvæm tilfelli eins og sölukynningar.

Optimistely, þó, hefur aðra tegund af ræningja reiknirit í boði fyrir notendur á hærri áætlunum - Stats Accelerator (nú þekktur sem "flýta fyrir lærdóm" valkostur innan Bandits). Í þessari uppsetningu, í stað þess að reyna að úthluta umferð á kraftmikinn hátt til afbrigða sem skilar mestum árangri, þá úthlutar Optimisely á dýnamískan hátt umferð til þeirra afbrigða sem eru líklegust til að ná tölfræðilegri þýðingu fljótlega. Þannig geturðu lært hraðar og varðveitt endurtekjanleika hefðbundinna A/B prófaniðurstaðna.

Stefna #4: Bættu emojis við mælinöfn þín

Við fyrstu sýn hljómar þessi hugmynd sennilega út í hött, jafnvel vitlaus. Lykilatriði í því að ganga úr skugga um að þú sért að lesa réttar tilraunaniðurstöður byrjar á því að ganga úr skugga um að áhorfendur geti skilið spurninguna. 

Stundum, þrátt fyrir bestu viðleitni okkar, geta tölunöfn orðið ruglingsleg (bíddu - kviknar þessi mælikvarði þegar pöntun er samþykkt eða þegar notandinn smellir á þakkarsíðuna?), Eða tilraun hefur svo marga mælikvarða að skruna upp og niður niðurstöðurnar síðu leiðir til alls vitrænnar ofhleðslu.

Ef þú bætir emojis við tölfræðinöfnin þín (skotmörk, grænt gátmerki, jafnvel stóri peningapokinn gæti virkað) getur það leitt til síðna sem eru mun skannanlegri. 

Treystu okkur - að lesa niðurstöðurnar mun líða mun auðveldara.

Stefna #5: Íhugaðu aftur tölfræðilega þýðingu þína

Niðurstöður eru taldar óyggjandi í sambandi við Optimizely tilraun þegar þær hafa náðst tölfræðileg marktækni. Tölfræðileg marktækni er erfitt stærðfræðilegt hugtak, en í grundvallaratriðum eru líkurnar á því að athuganir þínar séu afleiðing af raunverulegum mismun milli tveggja íbúa, en ekki bara tilviljanakenndra tilviljana. 

Tölfræðileg marktækni stig Optimisely hafa „alltaf gilt“ þökk sé stærðfræðilegu hugtaki sem kallast próf í röð - þetta gerir þau í raun mun áreiðanlegri en annarra prófunartækja, sem eru viðkvæm fyrir alls kyns „gægju“ málum ef þú lest þau of snemma.

Það er þess virði að íhuga hvaða stigi tölfræðilegrar þýðingar þú telur mikilvæg fyrir prófunarforritið þitt. Þó að 95% sé venjan í vísindasamfélaginu, erum við að prófa breytingar á vefsíðu, ekki bóluefni. Annað algengt val í tilraunaheiminum: 90%. En ertu tilbúinn að samþykkja aðeins meiri óvissu til að keyra tilraunir hraðar og prófa fleiri hugmyndir? Gæti verið að þú notir 85% eða jafnvel 80% tölfræðilega marktækni? Að vera viljandi um áhættu-umbun jafnvægi getur greitt veldisvísis arð með tímanum, svo hugsaðu þetta vel.

Lestu meira um Optimizely Intelligence Cloud

Þessar fimm skjótu meginreglur og innsýn munu vera ótrúlega gagnlegt að hafa í huga meðan Optimizely er notað. Eins og með öll tæki, þá snýst það um að ganga úr skugga um að þú hafir góðan skilning á öllum aðlögunum bak við tjöldin, svo þú getir verið viss um að þú notir tólið á skilvirkan og skilvirkan hátt. Með þessum skilningi geturðu fengið áreiðanlegar niðurstöður sem þú ert að leita að þegar þú þarfnast þeirra. 

Hvað finnst þér?

Þessi síða notar Akismet til að draga úr ruslpósti. Lærðu hvernig ummæli þín eru unnin.