A/B测试的作用大家都知道,就不多说了,在这里写写我在平时工作中应用心得。

在我的业务线平时应用A/B的场景:A大多是已经在线的一个产品,而B是一个我们将要上线的另一版本的产品(有可能是改进也有可能是推倒重来的),因为直接通过B去替换A可能用户一下子接收不了,所以我们会切部分用户出来用B版本,上线一段时间后,收集用户的反馈,再去调整,逐步去替换使用A的用户,这样做能让用户更平滑的接收。别小看这个过程,其实有很多策略可讲究了。说说我的真实经历。

之前做【AE卖家后台首页改版】的时候有两种方案做A/B测试,第一种:直接切20%的流量体验新版后台(根据帐号数随机切20%的用户登录就跳转到新版),不提供【返回旧版】入口,另一种切50%的流量让用户体验新版后台,但是要提供【返回旧版】的入口。

第一种方案相对比较保守或者说慎重,因为用户不能回到原来熟悉的页面中去使用,特别是在后台(执行任务为主)一旦用户有比较紧急和重要的任务要做(比如编辑产品、发货、回复询盘),会非常影响他的效率,从而直接带来一些不理性的反馈。好处:如果产品的改版是方向性的(就是商业决策上一定要这样去改了),那通过这种方案一步步切流量,整个过程还需要和用户沟通解释,就能有个较平滑的过渡,比如网站首页的改版、SKU项目。

第二种方案就比较开放,因为用户有【返回旧版】的入口,用的不爽可以回去,而且被测试的用户基数较大,这样得到的反馈相对来说更有定量的价值,容易发现同类度比较多的问题,相对来说反馈内容也比较理性充实,我在群里、网上、上门跟用户聊的时候他们大多都说出对于不爽的很多细节。

当然这两种方案都基于一个很重要的前提,改版前做好功课:解决的问题和用户期望匹配度要高,准,而且第二种尤其。写到这里大家应该能看出我最终选择了哪种方案做了【AE卖家后台首页改版】。

对了,第二种方案还能给我们一个很重要的结果指标,就是用户在A/B版本的存留人数,再来看个当时【AE卖家后台首页改版】review数据图。

此次使用A/Btest的进行测试,新旧版各50%的用户,在新旧版头部布有切换按钮,用户在下次登录ME时会自动进入上次退出地的ME版本中。

总的来说新版上线后,用户随着一个时间段的体验和适应,新旧版的的存留上是五五开。

新版由于链接数上有所简化,所以PV对比上会略低,而新版Session在近一周有所超越旧版的迹象。

通过存留比能很好的反映用户最终的接受度,同时也是作为判断产品是达到足够替换旧版的一个重要指标之一。

这里再提一下对于改版类的A/B测试还有一大利器就是热点分布图,基本能很直观的表现出用户的焦点功能能否在一屏内看到,操作到,尽量少的需要滚动。

当然每个产品情况不同不一定是看类似的指标数据,但在做A/B前梳理清楚上线后通过哪些数据来衡量是非常重要的,衡量哪些指标,我们UED也最好能主动和PD一起去讨论,毕竟有些指标数据能指导、影响我们的方案和看问题视角。

当然A/B测试还有很多种用法和分步实施方案,测试出的结果也会有很多有意思的解读,项目做的多了,思考的多,遇到的问题多了,都能感受的到,以上只是举了个简单的例子。

A/B测试和PD

写到这个标题,是我想到了很多时候UED在PD沟通方案出现分歧时,最终会提出做A/B测试,这本身没错。但我在和PD们聊过这个问题时,他们有时候会有一种较负面的感觉:这么小的一个需求还要做A/B哪有资源和时间,感觉这成了阻碍他们项目进度的一个绊脚石。可能我们只是想证明自己更对,并没有那种意思,但如果对方有了这种感受其实很不利于以后的合作的。

我的一点点看法就是,如果项目是很重要和关键的改动,我们尽早提出该项目需要做A/B测试(PD也会比较慎重的,最好你还能提出如何去做A/B测试的建议方案更nice),规划到项目整体资源中去,而不是在项目KICKOFF后,大家都完成了评估开始执行了再来提。如果是些小改动影响不大,方案一直纠结不下,哪我建议我们大度点让让TA们吧,最后真的他们错了,补救的成本也不会太高的。这点是我们需要注意下的。

以上只是个人心得,虽不能适用大家的工作场景,但举一反三,希望带给大家一点点思考,就算没浪费大家读到这里了。


感谢你的阅读,转载时请注明出处,谢谢你的合作。注明出处格式:阿里巴巴国际UED ( http://www.aliued.com/2013/01/14/1503/ )
部分图片来源于互联网特此声明

分享到:
« »

3 条评论

  1. gengzhi说道:

    实在的分析,很多关于细节的见解都很具建设性

  2. Lilong说道:

    我觉得为什么第一个和第二个方法一起呢?

    切20%的浏览并保存返回老版本的入口,这样一来,还可以看出新版本的使用率有多少。关键是没有影响用户的选择。

  3. billy说道:

    说实话,这是非常业余的 AB test。从试验准备到测试过程到数据分析都非常不严谨。上述“两种方法AB test” 其实只是流量切分不同而已。 “返回旧版” 这种东西是重要产品改版的最基本的救生圈功能,根本不能算是一种方案。

    至于后面的数据分析槽点多到都不知道从哪里开始。 这种卖东西必须要操作的界面 retention 是证明改版是否成功的主要判断依据?

Leave a Reply