至此，春天以來，火山引擎一系列的市場(chǎng)動(dòng)作，快速占領(lǐng)了A/B測(cè)試產(chǎn)品的市場(chǎng)認(rèn)知。
但不得不承認(rèn)的是，如果與IaaS等基礎(chǔ)To B服務(wù)相比，A/B測(cè)試絕對(duì)不是一個(gè)大市場(chǎng)。從供給側(cè)來看，行業(yè)成熟度高的產(chǎn)品并不多。對(duì)于這塊不是那么“誘人”的業(yè)務(wù)，不缺流量、“不差錢”的字節(jié)，為何高調(diào)“出手”？
A/B測(cè)試又被稱為小流量實(shí)驗(yàn)。針對(duì)想改進(jìn)的某個(gè)功能/UI/邏輯策略等，提供兩種或多種不同的備選解決方案，從總體企業(yè)用戶中抽取一小部分，隨機(jī)地將抽取出的流量分配給不同方案，最終結(jié)合一定的統(tǒng)計(jì)方法，通過實(shí)驗(yàn)數(shù)據(jù)對(duì)比來確定最優(yōu)方案。
A/B測(cè)試帶給企業(yè)的收益主要有兩方面，一是前置性地驗(yàn)證方案收益，不僅能評(píng)估出哪個(gè)方案更好，還能評(píng)估出好多少；另一方面是規(guī)避了風(fēng)險(xiǎn)，如果某個(gè)方案會(huì)對(duì)企業(yè)業(yè)務(wù)帶來負(fù)面影響，A/B測(cè)試能夠?qū)⑵淇刂圃趯?shí)驗(yàn)范圍內(nèi)。
“但是A/B測(cè)試賺不了多少錢。”火山引擎總經(jīng)理譚待在接受TO B新勢(shì)力采訪時(shí)，開門見山地說道。
譚待沒有神化A/B測(cè)試這款產(chǎn)品，也沒有講任何故事，反而強(qiáng)調(diào)“務(wù)實(shí)”是整個(gè)業(yè)務(wù)線從上至下的氣質(zhì)。
了解客戶到底想要解決一個(gè)什么樣的場(chǎng)景問題——怎么樣去衡量這個(gè)問題，如何衡量解決得好壞——通過數(shù)據(jù)還是通過人——哪些工具、哪些方法、哪些技術(shù)能夠把這事解決好。這是火山引擎團(tuán)隊(duì)對(duì)內(nèi)和對(duì)外解決問題的基本邏輯。
2012年成立之初，字節(jié)跳動(dòng)就在內(nèi)部使用A/B測(cè)試，之后這個(gè)工具逐漸升級(jí)、進(jìn)化，成為大型的測(cè)試平臺(tái)，2018年開始服務(wù)少數(shù)外部的種子客戶，2020年通過火山引擎正式對(duì)外商業(yè)化。
“產(chǎn)品賣這么多錢，能否給客戶帶來相應(yīng)的價(jià)值？能不能解決實(shí)際問題？”譚待加入字節(jié)跳動(dòng)快兩年，他覺得公司務(wù)實(shí)的文化讓他感受最深，對(duì)客戶有價(jià)值， To B生意才能長久。
字節(jié)是唯一一家將To B技術(shù)或者業(yè)務(wù)部門用“引擎”這個(gè)詞來命名的大廠。譚待解釋：“引擎的含義是技術(shù)要服務(wù)業(yè)務(wù)場(chǎng)景，產(chǎn)品和服務(wù)能夠幫客戶實(shí)現(xiàn)業(yè)務(wù)增長。”
火山引擎A/B測(cè)試產(chǎn)品架構(gòu)師李想進(jìn)一步解釋到：“火山引擎A/B測(cè)試首先是一個(gè)對(duì)外的產(chǎn)品，進(jìn)而能夠把承載字節(jié)增長的方法論和文化傳播出去?；鹕揭嬉訟/B測(cè)試為切入點(diǎn)，進(jìn)而讓企業(yè)客戶認(rèn)識(shí)到火山引擎其他的數(shù)據(jù)產(chǎn)品，這是更為關(guān)鍵的。”
目前，字節(jié)內(nèi)部對(duì)于火山引擎的To B業(yè)務(wù)并沒有強(qiáng)制性的營收壓力，能夠取得客戶信任和續(xù)約，獲取對(duì)To B的認(rèn)知迭代，是其最為看重的。
借助A/B測(cè)試，分享字節(jié)跳動(dòng)關(guān)于數(shù)據(jù)驅(qū)動(dòng)的理念，這是火山引擎重倉A/B測(cè)試的本質(zhì)。
火山引擎數(shù)據(jù)智能解決方案負(fù)責(zé)人孫超赟從企業(yè)文化角度闡述了A/B測(cè)試產(chǎn)品的意義：“A/B測(cè)試背后折射出字節(jié)內(nèi)部的決策機(jī)制不是自上而下拍腦門，而是兼容并包、開放坦誠。讓數(shù)據(jù)和事實(shí)說話，避免了逐級(jí)匯報(bào)成為產(chǎn)品迭代路上的障礙。”
無論是A/B測(cè)試，還是數(shù)據(jù)驅(qū)動(dòng)，不得不承認(rèn)的是，這都不是新概念。這一點(diǎn)譚待在采訪中也認(rèn)可。
火山引擎進(jìn)入A/B測(cè)試市場(chǎng)，帶來的增量是什么？
火山引擎市場(chǎng)部在不久前曾做過一個(gè)市場(chǎng)調(diào)研。1000家企業(yè)的樣本數(shù)據(jù)顯示：在企業(yè)的日常業(yè)務(wù)和管理中，A/B測(cè)試的普及率并不高，滲透率不足30%。
“滲透率低的原因是，市場(chǎng)上一部分用戶不了解A/B測(cè)試，還有一部分用戶對(duì)A/B測(cè)試本身的價(jià)值沒有足夠的認(rèn)知。”孫超赟認(rèn)為。
此外，近一兩年A/B測(cè)試正在從一個(gè)科學(xué)概念，逐漸走向更廣泛的行業(yè)應(yīng)用。這背后的大背景是互聯(lián)網(wǎng)從粗放的流量增長階段進(jìn)入到精細(xì)化運(yùn)營階段。
“在所有的精細(xì)化運(yùn)營工具中，A/B測(cè)試是ROI最高的一種。”孫超赟負(fù)責(zé)火山引擎智能套件華北區(qū)業(yè)務(wù)。他在接觸客戶的過程中感知到：過去幾年，企業(yè)的數(shù)字化轉(zhuǎn)型已經(jīng)接近完成第一個(gè)階段，即通過用戶行為分析工具了解包括DAU、核心業(yè)務(wù)流程轉(zhuǎn)化率、用戶留存等業(yè)務(wù)數(shù)據(jù)。
現(xiàn)在進(jìn)入的第二個(gè)階段，則是通過A/B測(cè)試直接拉動(dòng)業(yè)務(wù)，讓工具從成本中心轉(zhuǎn)變?yōu)槔麧欀行摹?/strong>
“A/B測(cè)試能夠告訴企業(yè)真正提升業(yè)務(wù)具體要做什么。比如，一家金融機(jī)構(gòu)，一個(gè)A/B測(cè)試的實(shí)驗(yàn)可能帶來上億元的增收。”
在接觸大量用戶之后，孫超赟強(qiáng)烈的感受是：“準(zhǔn)確的分流是A/B測(cè)試的基礎(chǔ)門檻，且不說運(yùn)維等其他成本，一旦數(shù)據(jù)分流出現(xiàn)失誤，會(huì)導(dǎo)致企業(yè)在錯(cuò)誤的方向上越走越遠(yuǎn)。”
火山引擎的A/B測(cè)試在自動(dòng)分流、正交互斥上經(jīng)歷了字節(jié)早期推薦算法迭代的打磨，這些技術(shù)是字節(jié)留住客戶進(jìn)行商業(yè)變現(xiàn)，搭建App矩陣的基礎(chǔ)。
在專家人才上，火山引擎的A/B測(cè)試專家涵蓋了To B領(lǐng)域，特別是字節(jié)內(nèi)部業(yè)務(wù)線成長而來的人員，他們有推薦算法等C端經(jīng)驗(yàn)。
實(shí)際上，除了分流的科學(xué)性，更為復(fù)雜的是指標(biāo)設(shè)計(jì)和解讀以及置信度的統(tǒng)計(jì)方法，一旦出現(xiàn)失誤，更易導(dǎo)致錯(cuò)誤的結(jié)論。
“A/B測(cè)試魔鬼藏在細(xì)節(jié)，真正能夠把產(chǎn)品做好的不多。其次，市面上其他A/B測(cè)試公司沒有C端的場(chǎng)景。第三，避免市場(chǎng)份額被蠶食而被動(dòng)推出的產(chǎn)品，或者過于垂直細(xì)分的某一個(gè)技術(shù)，無法給用戶帶來最大價(jià)值。”孫超赟認(rèn)為。
因?yàn)閬碜哉鎸?shí)的實(shí)踐和場(chǎng)景，面對(duì)客戶稀奇古怪的需求，火山引擎的專家?guī)缀醵紩?huì)有一個(gè)早就準(zhǔn)備好的文檔，直接拿出來給客戶解答。
根據(jù)楊震原此前在媒體溝通會(huì)上透露的數(shù)據(jù)：A/B測(cè)試作為字節(jié)跳動(dòng)一項(xiàng)非常基礎(chǔ)的工具，在通過火山引擎向企業(yè)客戶產(chǎn)品化開放之前，已經(jīng)支撐了抖音、今日頭條等產(chǎn)品的增長迭代。
目前，字節(jié)跳動(dòng)A/B測(cè)試每日新增1500+實(shí)驗(yàn)，服務(wù)于400多項(xiàng)大大小小的業(yè)務(wù)，累計(jì)做了70多萬次實(shí)驗(yàn)。
這其中，最典型的例子是，抖音的名字，其實(shí)是綜合了A/B測(cè)試和人為判斷的結(jié)果，“抖音”這個(gè)名字在測(cè)試結(jié)果中排名第二。在正確的方向上，結(jié)合人為對(duì)其形態(tài)的認(rèn)知和判斷，最終選定。
“客戶真正需要的并不是產(chǎn)品，而是一個(gè)解決方案?？蛻舨皇菫榱薃/B測(cè)試一個(gè)產(chǎn)品而來，而是為了解決業(yè)務(wù)增長的困局而來。”
“A/B測(cè)試是火山引擎智能數(shù)據(jù)產(chǎn)品中最強(qiáng)的單品之一。但在整個(gè)火山引擎To B架構(gòu)應(yīng)用層中，還形成了彼此強(qiáng)關(guān)聯(lián)的產(chǎn)品體系，包括CDP、GMP等。”孫超赟提到。
數(shù)據(jù)分析和洞察——策略設(shè)置——實(shí)驗(yàn)上線驗(yàn)證——功能上線——效果再驗(yàn)證，這一整套完整的閉環(huán)是客戶沒有說出來的真實(shí)需求。
“最終能夠幫助企業(yè)解決問題的工具才是有用的。”譚待強(qiáng)調(diào)，“企業(yè)如果想實(shí)現(xiàn)A/B測(cè)試的結(jié)果，不是僅僅構(gòu)建一個(gè)A/B測(cè)試平臺(tái)就夠了，還需要建立起一套基礎(chǔ)設(shè)施，完善的業(yè)務(wù)指標(biāo)和健全的體系設(shè)計(jì)，這是成功的一半。更關(guān)鍵的是迭代、研發(fā)，數(shù)據(jù)收集和對(duì)比都要很高效。”
“我們希望通過A/B測(cè)試這個(gè)概念，推動(dòng)數(shù)據(jù)驅(qū)動(dòng)的理念。數(shù)據(jù)驅(qū)動(dòng)在各個(gè)場(chǎng)景中實(shí)踐好，只有一個(gè)App是不夠的，這些配套價(jià)值鏈上的工具，以及字節(jié)自己的經(jīng)驗(yàn)，才能形成綜合優(yōu)勢(shì)。”譚待認(rèn)為。
科學(xué)的目標(biāo)設(shè)置和精確衡量，是改進(jìn)的第一步。If you cannot measure, you cannot
improve.
王杰是悟空租車的產(chǎn)品負(fù)責(zé)人。他和團(tuán)隊(duì)主要通過數(shù)據(jù)和運(yùn)營手段幫助用戶提升線上產(chǎn)品體驗(yàn)。
幾年前，王杰就開始為公司選型，但大部分A/B測(cè)試服務(wù)商對(duì)于體量小，使用量級(jí)低的創(chuàng)業(yè)公司友好度低。自研投入、周期長，技術(shù)資源不足。而且，大多工具使用主要面向開發(fā)者，而不是產(chǎn)品人員，上手難度很大。這是悟空租車在選型A/B測(cè)試產(chǎn)品時(shí)的三個(gè)挑戰(zhàn)。
在測(cè)試了很多產(chǎn)品后，王杰告訴TO B新勢(shì)力：“火山引擎目前是我認(rèn)為業(yè)界最領(lǐng)先的，除了能解決上述難題，迭代速度也比較快，任何需求火山引擎團(tuán)隊(duì)的回復(fù)和迭代周期平均在兩周。”
在實(shí)際效果上，根據(jù)王杰提供的數(shù)據(jù)，在支付環(huán)節(jié)，比如押金先收還是后收，A/B測(cè)試后，有了10%以上提升。圖片展示環(huán)節(jié)，對(duì)大圖預(yù)覽和車型圖片測(cè)試后，提升了7-8%的業(yè)務(wù)轉(zhuǎn)化。當(dāng)然，這中間也有結(jié)果的數(shù)據(jù)是負(fù)向的。正負(fù)之間，王杰認(rèn)為，最大的好處是：“對(duì)需求有了把握。”
王杰強(qiáng)調(diào)：目前與火山引擎團(tuán)隊(duì)的交流更多是在工具層面。特別期待火山引擎能以課程和培訓(xùn)的方式對(duì)外輸出，王杰和團(tuán)隊(duì)甚至愿意付費(fèi)學(xué)習(xí)。
和王杰相似，在TO B新勢(shì)力的調(diào)研中，絕大多數(shù)的企業(yè)用戶之所以看中字節(jié)系To B產(chǎn)品最重要的原因是：想學(xué)習(xí)字節(jié)的方法論。
“我們對(duì)大廠產(chǎn)品風(fēng)格有不同的理解。比如百度側(cè)重于面向開發(fā)者提供語音識(shí)別，圖像識(shí)別技術(shù)工具。阿里側(cè)重于偏向To B，比如支付寶的支付商業(yè)能力。字節(jié)偏向互聯(lián)網(wǎng)產(chǎn)品，其流量、運(yùn)營和工具測(cè)試的經(jīng)驗(yàn)，是我們非常想學(xué)習(xí)的。”
“通過工具已經(jīng)能學(xué)到不少東西，但除了工具，我們甚至愿意為培訓(xùn)和經(jīng)驗(yàn)付費(fèi)。”另一位創(chuàng)始人向TO B新勢(shì)力表達(dá)。
譚待是數(shù)據(jù)驅(qū)動(dòng)的忠實(shí)“信徒”。在負(fù)責(zé)火山引擎的業(yè)務(wù)后，他在業(yè)務(wù)管理中不斷推進(jìn)管理駕駛艙、數(shù)據(jù)看板等數(shù)字化、流程化的建設(shè)。“不是每周看一些美化過的PPT，而是隨時(shí)看到各種各樣的業(yè)務(wù)數(shù)據(jù)”。
但譚待并不認(rèn)為數(shù)據(jù)驅(qū)動(dòng)就是萬能的。在對(duì)外提供服務(wù)時(shí)，火山引擎要結(jié)合客戶的具體需求和業(yè)務(wù)場(chǎng)景，而不是一股腦的把所有數(shù)據(jù)產(chǎn)品都推銷出去。就在采訪的前一天，他還勸退了一家并不適合做A/B測(cè)試的企業(yè)客戶。
“我們可以結(jié)合客戶的場(chǎng)景去設(shè)計(jì)，比如說在你這個(gè)場(chǎng)景里哪些指標(biāo)是更關(guān)鍵的，其實(shí)相當(dāng)于把頭條和抖音的一些運(yùn)營和設(shè)計(jì)經(jīng)驗(yàn)傳達(dá)給客戶。”譚待說到。
一些大客戶找到火山引擎，雖然其內(nèi)部有A/B測(cè)試，但是他們想要一個(gè)能夠統(tǒng)一的實(shí)驗(yàn)平臺(tái)，通過統(tǒng)一定義用戶、公用的指標(biāo)去實(shí)驗(yàn)。李想覺得，火山引擎做A/B測(cè)試最大的優(yōu)勢(shì)是——字節(jié)內(nèi)部400多條業(yè)務(wù)線，都在用同一個(gè)實(shí)驗(yàn)平臺(tái)和指標(biāo)口徑。標(biāo)準(zhǔn)高效和數(shù)據(jù)分享，帶來了價(jià)值。這些經(jīng)驗(yàn)可以遷移給客戶。
孫超赟的感受是：“客戶其實(shí)更想知道字節(jié)在過去的增長過程中，業(yè)務(wù)增長的方法論是什么，一些具體案例是什么，我們嘗試著把這些經(jīng)驗(yàn)和方法論沉淀，對(duì)外輸出。”
在數(shù)據(jù)驅(qū)動(dòng)向外輸出過程中。孫超赟也在辯思，比如字節(jié)并不是外界傳言100%都在用A/B測(cè)試。而是按需使用A/B測(cè)試。
工具并非萬能，工具和人之間存在平衡。面對(duì)數(shù)據(jù)，企業(yè)用戶在心態(tài)上往往經(jīng)歷了一個(gè)不斷磨合的過程。成功的A/B測(cè)試有的時(shí)候不一定會(huì)有一個(gè)明顯的勝出者，差異化不明顯依然是真實(shí)的實(shí)驗(yàn)結(jié)果，保持合理的心理預(yù)期，探尋背后的原因解讀，是最有成就感的部分。
正如楊震原所說：“充分地做A/B測(cè)試，這是一個(gè)能夠在很大程度上補(bǔ)充信息的過程，能夠消除很多偏見，能夠帶來很多客觀的事實(shí)。但是它也不是完美的，需要補(bǔ)充其他方法一起來用。”
本文經(jīng)授權(quán)轉(zhuǎn)載自微信公眾號(hào)：宇婷對(duì)話TO B 新勢(shì)力
