Optimizallaşdırılmış Zəka Buludu: A/B -ni daha ağıllı və daha sürətli test etmək üçün Statistika Mühərrikindən necə istifadə olunur

Optimize Stats Engine və A/B Test Strategiyaları

İşinizi sınamağa və öyrənməyə kömək etmək üçün bir sınaq proqramı işə salmaq istəyirsinizsə, çox güman ki, istifadə edirsiniz Optimal olaraq Intelligence Cloud - yoxsa heç olmasa baxdın. Optimizely, oyundakı ən güclü vasitələrdən biridir, amma necə işlədiyini başa düşmürsənsə, hər hansı bir vasitə kimi səhv istifadə edə bilərsən. 

Optimizely'i bu qədər güclü edən nədir? Xüsusiyyətlər dəstinin əsasını, nəticələrinizi səhv şərh etdiyinizdən narahat olmayaraq, əhəmiyyətli testlərin canlı alınmasına daha çox diqqət yetirməyə imkan verən üçüncü tərəf vasitəsindəki ən məlumatlı və intuitiv statistika mühərriki yatır. 

Tibbdə ənənəvi kor bir iş kimi, A / B testi təsadüfi fərqli göstərəcək müalicə hər müalicənin effektivliyini müqayisə etmək üçün saytınızı fərqli istifadəçilərə təqdim edin. 

Statistika, müalicənin uzun müddətdə nə qədər təsirli ola biləcəyi ilə bağlı nəticə çıxarmağa kömək edir. 

Əksər A/B test vasitələri iki növ statistik nəticədən birinə əsaslanır: Tez -tez və ya Bayes statistikası. Hər bir məktəbin fərqli üstünlükləri və mənfi cəhətləri var - Tez -tez verilən statistikalar, təcrübə aparmadan əvvəl nümunə ölçüsünün təyin edilməsini tələb edir və Bayes statistikası, iki nümunə adlandırmaq üçün təsir üçün hər hansı bir rəqəm göstərməkdənsə, əsasən yaxşı yönümlü qərarlar verməyi önə çəkir. Optimizly -in super gücü, bu gün bazarda bir şey əldə etmək üçün yeganə vasitədir hər iki dünyanın ən yaxşısı yanaşma.

Son nəticə? Optimallaşdırma, istifadəçilərə təcrübələri daha sürətli, daha etibarlı və daha asan idarə etməyə imkan verir.

Bundan tam istifadə etmək üçün pərdə arxasında nələrin baş verdiyini anlamaq vacibdir. Optimizely -nin imkanlarını peşəkar kimi istifadə etməyinizi təmin edəcək 5 anlayış və strategiya.

1 nömrəli strategiya: Bütün Metriklərin Bərabər Yaradılmadığını Anlayın

Əksər test vasitələrində, ümumiyyətlə gözdən qaçan bir problem, testinizin bir hissəsi olaraq nə qədər çox metrik əlavə edib izləsəniz, təsadüfi təsadüf nəticəsində bəzi səhv nəticələr görmək ehtimalı daha çoxdur (statistikada buna "çoxlu test problemi" deyilir. ”). Nəticələrini etibarlı saxlamaq üçün Optimizely, baş vermə ehtimalını mümkün qədər aşağı saxlamaq üçün bir sıra nəzarət və düzəlişlərdən istifadə edir. 

Optimizely -də testlər qurmağa getdiyiniz zaman bu nəzarət və düzəlişlərin iki təsiri var. Birincisi, özünüz kimi təyin etdiyiniz metrik Əsas Metrik statistik əhəmiyyətə ən sürətli çatacaq, bütün digər şeylər sabitdir. İkincisi, bir təcrübəyə nə qədər çox metrik əlavə etsəniz, sonrakı ölçülərinizin statistik əhəmiyyətə çatması daha uzun çəkəcək.

Təcrübə planlaşdırarkən, qərar qəbul etmə prosesində Həqiqi Şimalınızın hansı metrik olacağını bildiyinizə əmin olun, bunu Əsas Metrikiniz edin. Ardından, həddindən artıq və ya teğet olan hər şeyi aradan qaldıraraq, ölçmə siyahınızın qalan hissəsini arıq saxlayın.

2 nömrəli strategiya: Öz Xüsusi Xüsusiyyətlərinizi yaradın

Optimizely, sınaq nəticələrinizi bölüşdürməyin bir neçə maraqlı və faydalı yolunu təqdim etməkdə əladır. Məsələn, müəyyən müalicələrin masa üstü ilə mobil arasında daha yaxşı işlədiyini yoxlaya və ya trafik mənbələrindəki fərqləri müşahidə edə bilərsiniz. Təcrübə proqramınız olgunlaşdıqca, tezliklə yeni seqmentlər arzulayacaqsınız-bunlar istifadə vəziyyətinizə xas ola bilər, məsələn, birdəfəlik abunə alqı-satqısı seqmentləri və ya "yeni və geri gələn qonaqlar" kimi ümumi ( Açığı, bunun niyə qutudan çıxmadığını hələ də anlaya bilmirik).

Yaxşı xəbər budur ki, Optimizely -nin Layihə Javascript sahəsiylə, Optimizely ilə tanış olan mühəndislər, ziyarətçilərin təyin edə biləcəyi və seqmentləşdirə biləcəyi hər cür maraqlı xüsusi xüsusiyyətlər qura bilərlər. Cro Metrics -də, bütün müştərilərimizə Layihə Javascript vasitəsi ilə quraşdırdığımız bir çox səhm modulları ("yeni və geri gələn qonaqlar" kimi) qurduq. Bu qabiliyyətdən istifadə etmək, onları yerinə yetirməyə kömək edəcək doğru texniki qaynaqları olan yetkin komandalarla təcrübənin bütün potensialını reallaşdırmaq üçün mübarizə aparan komandalar arasında əsas fərqləndiricidir.

3 nömrəli strategiya: Optimizely's Stats Accelerator'ı araşdırın

Tez-tez təkrarlanan test vasitələrinin bir xüsusiyyəti, təcrübə müddətində trafikinizin ayrıldığı yerlərdə dinamik olaraq dəyişən bir maşın öyrənmə alqoritmi olan "çox silahlı quldurlar" dan istifadə etmək qabiliyyətidir ki, "qazananlara" o qədər çox ziyarətçi göndərsin. mümkün qədər dəyişkənlik. Çox silahlı quldurların problemi, nəticələrinin uzunmüddətli performansın etibarlı göstəriciləri olmamasıdır, buna görə də bu tip təcrübələr üçün istifadə halları satış promosyonları kimi zamana həssas olan hallarla məhdudlaşır.

Optimize olaraq, daha yüksək planlarda olan istifadəçilər üçün fərqli bir növ quldur alqoritmi var - Stats Accelerator (indi Quldurlar içərisində "Öyrənmələri Sürətləndir" seçimi olaraq tanınır). Bu quruluşda, trafikin ən yüksək performansa malik olan dinamikaya bölünməsinə çalışmaq əvəzinə, Optimizely trafikin statistik əhəmiyyətə ən tez çatması ehtimalı olan dəyişikliklərə dinamik olaraq ayrılır. Bu yolla daha sürətli öyrənə və ənənəvi A/B test nəticələrinin təkrarlanmasını qoruya bilərsiniz.

Strategiya #4: Metrik Adlarınıza Emojilər əlavə edin

İlk baxışdan bu fikir yəqin ki, yersiz, hətta ağılsız səslənir. Bununla birlikdə, doğru sınaq nəticələrini oxuduğunuzdan əmin olmağın əsas tərəfi, izləyicilərinizin bu sualı anlaya biləcəyindən əmin olmaqdan başlayır. 

Bəzən ən yaxşı səylərimizə baxmayaraq, metrik adlar çaşqınlıq yarada bilər (gözləyin - sifariş qəbul edildikdə və ya istifadəçi təşəkkür səhifəsinə vurduqda bu metrik yanırmı?) Və ya bir təcrübədə nəticələri yuxarı və aşağı sürüşdürən bir çox ölçü var səhifə ümumi idrak yüklənməsinə səbəb olur.

Ölçmə adlarınıza emojilər əlavə etmək (hədəflər, yaşıl işarələr, hətta böyük pul çantası işləyə bilər) daha çox taranabilir səhifələrlə nəticələnə bilər. 

Bizə etibar edin - nəticələri oxumaq daha asan olacaq.

5 nömrəli strategiya: Statistik əhəmiyyətlilik səviyyənizi yenidən nəzərdən keçirin

Nəticələr çatdıqda Optimizely təcrübəsi kontekstində qəti hesab olunur statistik əhəmiyyəti. Statistik əhəmiyyət çətin bir riyazi bir termindir, amma mahiyyətcə müşahidələrinizin təsadüfi bir təsadüf deyil, iki populyasiya arasındakı real bir fərqin nəticəsi olması ehtimalıdır. 

Optimizely -nin bildirdiyi statistik əhəmiyyətlilik səviyyələri riyazi bir anlayış sayəsində "həmişə etibarlıdır" ardıcıl test - bu, onları çox tez oxuduğunuz təqdirdə hər cür "gözdən keçirmə" problemlərinə meylli olan digər test vasitələrindən daha etibarlı edir.

Test proqramınız üçün hansı statistik əhəmiyyətə malik olduğunuzu düşünməyə dəyər. Elm ictimaiyyətinin 95% -i konvensiya olsa da, biz peyvəndləri yox, veb sayt dəyişikliklərini sınaqdan keçiririk. Təcrübə dünyasında başqa bir ümumi seçim: 90%. Ancaq təcrübələri daha sürətli aparmaq və daha çox fikir sınamaq üçün bir az daha qeyri -müəyyənliyi qəbul etməyə hazırsınızmı? 85% və ya hətta 80% statistik əhəmiyyətdən istifadə edə bilərsinizmi? Risk-mükafat balansınıza qəsdən yanaşmaq zamanla eksponensial dividendlər ödəyə bilər, buna görə diqqətlə düşünün.

Optimizely Intelligence Cloud haqqında daha çox oxuyun

Bu beş sürətli prinsip və anlayış, Optimizely istifadə edərkən yadda saxlamaq üçün inanılmaz dərəcədə faydalı olacaq. Hər hansı bir alətdə olduğu kimi, pərdəarxası bütün fərdiləşdirmələri yaxşı başa düşdüyünüzə əmin olmaq üçün qaynaqlanır, buna görə də vasitədən səmərəli və səmərəli istifadə etdiyinizə əmin ola bilərsiniz. Bu anlayışlarla ehtiyac duyduğunuz zaman etibarlı nəticələr əldə edə bilərsiniz. 

Siz nə düşünürsünüz?

Bu sayt spam azaldılması üçün Akismet istifadə edir. Yorumunuzun necə işləndiyini öyrənin.