更新時(shí)間:2020-07-15 來(lái)源:黑馬程序員 瀏覽量:
讓我們想象一下,在公司的某產(chǎn)品研發(fā)討論會(huì)上……
“這個(gè)功能要不要上?”
“我覺得沒(méi)問(wèn)題,XX指標(biāo)肯定能漲一大截?!?/p>
“我不這么想,XX指標(biāo)說(shuō)不定也會(huì)受到影響,你不能只想著可能的收益呀?!?/p>
blahblah無(wú)限循環(huán)爭(zhēng)吵中……
“好啦,別吵了,讓我們開個(gè)AB看一下效果吧?!?/p>
當(dāng)現(xiàn)在越來(lái)越多的app都已經(jīng)日活百萬(wàn)千萬(wàn),新功能是絕對(duì)不敢、也絕無(wú)必要輕易上線的。(因?yàn)橐坏┤可暇€引起用戶反感,損失不可估計(jì)。)這個(gè)時(shí)候,AB實(shí)驗(yàn)就成為了大型功能上線前的必備利器——進(jìn)行小流量的測(cè)試,利用測(cè)試的效果來(lái)預(yù)估上線后的效果。
1.什么是AB測(cè)試?
隨著移動(dòng)互聯(lián)網(wǎng)流量紅利、人口紅利的逐漸衰退,越來(lái)越多的產(chǎn)品運(yùn)營(yíng)開始關(guān)注數(shù)據(jù)驅(qū)動(dòng)的精細(xì)化運(yùn)營(yíng)方法,期望通過(guò)精細(xì)化運(yùn)營(yíng)在一片紅海中繼續(xù)獲得確定的用戶增長(zhǎng),而A/B測(cè)試就是一種有效的精細(xì)化運(yùn)營(yíng)手段。
A/B測(cè)試 是為 web 或 app
界面或流程制作兩個(gè)(A/B)或多個(gè)版本,在同一時(shí)間維度,分別讓組成成分相同(相似)的訪客群組(目標(biāo)人群)隨機(jī)的訪問(wèn)這些版本,收集各群組的用戶體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),最后分析、評(píng)估出最好版本,正式采用。
2008年奧巴馬競(jìng)選美國(guó)總統(tǒng)的時(shí)候,有一個(gè)互聯(lián)網(wǎng)團(tuán)隊(duì)專門負(fù)責(zé)競(jìng)選相關(guān)活動(dòng)的線上產(chǎn)品,例如奧巴馬的競(jìng)選募捐網(wǎng)站。這個(gè)網(wǎng)站最核心的目標(biāo)是:讓網(wǎng)站的訪客完成注冊(cè)并募捐競(jìng)選資金。這個(gè)團(tuán)隊(duì)當(dāng)時(shí)做了一個(gè)非常成功的實(shí)驗(yàn):通過(guò)對(duì)6個(gè)不同風(fēng)格的主頁(yè)進(jìn)行AB測(cè)試,最優(yōu)的版本將網(wǎng)站注冊(cè)轉(zhuǎn)化率提升了40.6%,而這40.6%的新增用戶直接帶來(lái)了額外的5700萬(wàn)美金募捐資金!
2.AB測(cè)試舉例
案例1:相機(jī)拍照類應(yīng)用
以Camera360為案例,它選用Testin
A/B測(cè)試服務(wù)幫助其進(jìn)行產(chǎn)品優(yōu)化決策。該案例是其產(chǎn)品商業(yè)化過(guò)程中的一個(gè)嘗試,希望提升商店中表情包或道具的付費(fèi)比例,但要完成付費(fèi)指標(biāo),首先要提升商店入口點(diǎn)擊率。所以,他們?cè)O(shè)定了多個(gè)商店入口方案(更改圖標(biāo)樣式、文案),通過(guò)A/B測(cè)試來(lái)驗(yàn)證哪個(gè)方案可以最大化提升商店入口點(diǎn)擊率。在驗(yàn)證過(guò)程中,他們也針對(duì)人群目標(biāo)做了相關(guān)定向測(cè)試,如日本、中國(guó)、韓國(guó)等區(qū)域,最終他們針對(duì)這一入口同時(shí)上線7~8個(gè)測(cè)試版本,通過(guò)A/B測(cè)試,將整體點(diǎn)擊率提升了80%左右。
案例2
試驗(yàn)?zāi)繕?biāo):期望通過(guò)更改簽到按鈕的文案提高簽到的人數(shù),從而提高留存率。
·新版本簽到按鈕平均點(diǎn)擊次數(shù)高于原始版本
·新版本的簽到次數(shù)比原始版本簽到次數(shù)提高4.17%
95%置信區(qū)間結(jié)果顯示小范圍人群的試驗(yàn)結(jié)果推廣到全量用戶之后,有95%概率獲得1.7% 至 6.6%的提升;p-value小于0.05,顯示新老版本有顯著統(tǒng)計(jì)差異。
試驗(yàn)過(guò)程:簽到按鈕文案試驗(yàn),流量第一天兩個(gè)版本各5%,第二天無(wú)錯(cuò)誤后調(diào)節(jié)成50%原始版,50%新版本。
案例3:文案修改提升購(gòu)買率
A/B測(cè)試目的:提升購(gòu)買率指標(biāo)
A/B測(cè)試實(shí)驗(yàn)設(shè)計(jì):
1.對(duì)用戶來(lái)說(shuō),核心觸發(fā)是預(yù)期收益率后邊的引導(dǎo)按鈕。
2.經(jīng)過(guò)團(tuán)隊(duì)頭腦風(fēng)暴,認(rèn)為用戶在感知“理財(cái)”、“存入”兩者之間會(huì)有不同考量。一部分團(tuán)隊(duì)成員傾向于理財(cái)文案,另一部分提出新的想法,“存入”文案更能降低用戶對(duì)“理財(cái)”本身的風(fēng)險(xiǎn)意識(shí)。
3.設(shè)計(jì)了兩個(gè)版本,用立即理財(cái),與立即存入兩個(gè)文案。
4.實(shí)驗(yàn)進(jìn)行2周,并得出顯著性結(jié)果。
可見,實(shí)驗(yàn)存在顯著性差異。同時(shí)轉(zhuǎn)化率提升15.45%,并且置信區(qū)間在客戶能接受范圍內(nèi)。該實(shí)驗(yàn),取得成功。
3.A/B測(cè)試的好處
·消除客戶體驗(yàn)(UX)設(shè)計(jì)中不同意見的紛爭(zhēng),根據(jù)實(shí)際效果確定最佳方案;
·通過(guò)對(duì)比試驗(yàn),找到問(wèn)題的真正原因,提高產(chǎn)品設(shè)計(jì)和運(yùn)營(yíng)水平;
·建立數(shù)據(jù)驅(qū)動(dòng)、持續(xù)不斷優(yōu)化的閉環(huán)過(guò)程;
·通過(guò)A/B測(cè)試,降低新產(chǎn)品或新特性的發(fā)布風(fēng)險(xiǎn),為產(chǎn)品創(chuàng)新提供保障。
4.AB測(cè)試的基本步驟
AB測(cè)試是一個(gè)反復(fù)迭代優(yōu)化的過(guò)程,它的基本步驟如下圖所示可以劃分為:
1)現(xiàn)狀分析并建立假設(shè):分析業(yè)務(wù)數(shù)據(jù),確定當(dāng)前最關(guān)鍵的改進(jìn)點(diǎn),作出優(yōu)化改進(jìn)的假設(shè),提出優(yōu)化建議;比如說(shuō)我們發(fā)現(xiàn)用戶的轉(zhuǎn)化率不高,我們假設(shè)是因?yàn)橥茝V的著陸頁(yè)面帶來(lái)的轉(zhuǎn)化率太低,下面就要想辦法來(lái)進(jìn)行改進(jìn)了
2)設(shè)定目標(biāo),制定方案:設(shè)置主要目標(biāo),用來(lái)衡量各優(yōu)化版本的優(yōu)劣;設(shè)置輔助目標(biāo),用來(lái)評(píng)估優(yōu)化版本對(duì)其他方面的影響。
3)設(shè)計(jì)與開發(fā):制作2個(gè)或多個(gè)優(yōu)化版本的設(shè)計(jì)原型并完成技術(shù)實(shí)現(xiàn):
4)分配流量:確定每個(gè)線上測(cè)試版本的分流比例,初始階段,優(yōu)化方案的流量設(shè)置可以較小,根據(jù)情況逐漸增加流量。
5)采集并分析數(shù)據(jù):收集實(shí)驗(yàn)數(shù)據(jù),進(jìn)行有效性和效果判斷:統(tǒng)計(jì)顯著性達(dá)到95%或以上并且維持一段時(shí)間,實(shí)驗(yàn)可以結(jié)束;如果在95%以下,則可能需要延長(zhǎng)測(cè)試時(shí)間;如果很長(zhǎng)時(shí)間統(tǒng)計(jì)顯著性不能達(dá)到95%甚至90%,則需要決定是否中止試驗(yàn)。
北極星指標(biāo)(North Star Metric),也叫作第一關(guān)鍵指標(biāo)(One Metric That
Matters),是指在產(chǎn)品的當(dāng)前階段與業(yè)務(wù)/戰(zhàn)略相關(guān)的絕對(duì)核心指標(biāo),一旦確立就像北極星一樣閃耀在空中,指引團(tuán)隊(duì)向同一個(gè)方向邁進(jìn)(提升這一指標(biāo))。
6)做出決策:根據(jù)試驗(yàn)結(jié)果確定發(fā)布新版本、調(diào)整分流比例繼續(xù)測(cè)試或者在試驗(yàn)效果未達(dá)成的情況下繼續(xù)優(yōu)化迭代方案重新開發(fā)上線試驗(yàn)。
5.A/B測(cè)試的原理——假設(shè)檢驗(yàn)
因?yàn)锳B測(cè)試是檢驗(yàn)來(lái)自兩個(gè)組樣本平均數(shù)的差異性,從而判斷它們各自代表的總體的差異是否顯著,因此使用的是兩個(gè)總體均值之差的檢驗(yàn)。
統(tǒng)計(jì)量:
6.AB測(cè)試案例
6.1 案例背景
某公司給網(wǎng)站投放廣告的時(shí)候,一開始給用戶看到的落地頁(yè)是訪問(wèn)課程資料,現(xiàn)在公司又推出了開始免費(fèi)試學(xué)這個(gè)落地頁(yè),現(xiàn)在需要檢驗(yàn)新落地頁(yè)是否優(yōu)于舊的落地頁(yè)。
假設(shè):新落地頁(yè)的轉(zhuǎn)化率優(yōu)于舊落地頁(yè)
制定方案、設(shè)計(jì)開發(fā):已完成
分配流量:通過(guò)對(duì)userid進(jìn)行hash,將用戶分成兩組old_page和new_page
采集數(shù)據(jù):下面是測(cè)試的24天數(shù)據(jù):
user_id是用戶的id;
timestamp 是用戶訪問(wèn)頁(yè)面的時(shí)間;
group 表示把新的落地頁(yè)分到treatment組、把舊的落地頁(yè)分到了control組;
landing_page表示的是落地頁(yè);
converted 表示的是否轉(zhuǎn)化,1表示轉(zhuǎn)化;
6.2 代碼實(shí)現(xiàn)
·導(dǎo)包
import pandas as pd
·加載數(shù)據(jù)
# 讀取數(shù)據(jù),查看前5行
df = pd.read_csv("ab_test.csv")
df.head()
# 數(shù)據(jù)預(yù)覽,查看數(shù)據(jù)有多少行、多少列
df.shape
# 查看數(shù)據(jù)中是否有空值
df.isnull().any()
df.info()
·去掉錯(cuò)誤行
treatment和new_page對(duì)應(yīng),control和old_page對(duì)應(yīng),如果不對(duì)應(yīng),就是錯(cuò)誤數(shù)據(jù),需要去掉。
# 下面這句代碼,展示的就是group=treatment且landing_page=old_page和group=control且landing_page=new_page,這樣的錯(cuò)誤行;
num_error = df[(df.group == "treatment")!=(df.landing_page == "new_page")].shape[0]
num_error
# 去掉錯(cuò)誤行后,再次查看是否還存在錯(cuò)誤行
print("沒(méi)有刪除錯(cuò)誤行之前的記錄數(shù):", df.shape[0])
df2 = df[(df.group == "treatment")==(df.landing_page == "new_page")]
print("刪除錯(cuò)誤行之后的記錄數(shù):", df2.shape[0])
print("錯(cuò)誤行共有",str(df.shape[0]-df2.shape[0]),"條記錄")
num_error2 = df2[((df2.group == "treatment")!=(df2.landing_page == "new_page"))].shape[0]
num_error2
·去除重復(fù)數(shù)據(jù)
# 查看是否有重復(fù)行
print("數(shù)據(jù)的記錄數(shù)為:", df2.user_id.shape[0])
print("將user_id去重計(jì)數(shù)后的記錄數(shù)為:", df2.user_id.nunique())
# 去除重復(fù)的行
df3 = df2.drop_duplicates(subset=["user_id"],keep="first")
df3.shape[0]
·觀察兩組的轉(zhuǎn)化率
A = df3.query('group=="control"').converted#對(duì)照組
B = df3.query('group=="treatment"').converted#實(shí)驗(yàn)組
print('策略A的均值是:',A.mean())
print('策略B的均值是:',B.mean())
思考一下:根據(jù)上述結(jié)果,老頁(yè)面的轉(zhuǎn)化率比新頁(yè)面的轉(zhuǎn)換率好,是不是就可以說(shuō)明老頁(yè)面好呢?
·假設(shè)檢驗(yàn)
·建立原假設(shè)和備擇假設(shè)
由于我們期望的是新方案由于舊方案,故建立如下假設(shè)
原假設(shè):$$\bar{X}B-\bar{X}A\leq0$$
備擇假設(shè):$$\bar{X}B-\bar{X}A>0$$
·選擇統(tǒng)計(jì)量
由于$$n_A$$和$$n_B$$都大于30,故為大樣本,選擇Z統(tǒng)計(jì)量做Z檢驗(yàn)
·使用scipy.stats完成檢驗(yàn)
import scipy.stats
z, pval = scipy.stats.ttest_ind(B,A) #表示B-A
print(z,pval)#-1.3109235634981506 0.18988462498742617
根據(jù) scipy.stats.ttest_ind(x, y) 文檔的解釋,這是雙邊檢驗(yàn)的結(jié)果。為了得到單邊檢驗(yàn)的結(jié)果,需要將 計(jì)算出來(lái)的 pvalue
除于2 取單邊的結(jié)果(這里取閾值為0.05)。
·做出決策
求得pvalue=0.18988462498742617,p/2 > alpha(0.05),所以不能夠拒絕假設(shè),暫時(shí)不能夠認(rèn)為新落地頁(yè)能帶來(lái)多的用戶轉(zhuǎn)化。
我們需要再延長(zhǎng)觀測(cè)時(shí)間或是修改新的頁(yè)面再進(jìn)行測(cè)試了
猜你喜歡:
Python+人工智能課程
Python基礎(chǔ)教程下載