感谢邀请在过去的几年里，我們的智能优化

360、宜人贷、爱钱进、自如、中原地产、51信用卡、中国移动、咪咕视频等众多互联网公司对

测试在国内的应用有一些粗浅的認识，在此分享给大家希望对大家有帮助。

随着移动互联网流量红利、人口红利的逐渐衰退越来越多的产品运营开始关注数据驱动的精细化运营方法，期望通过精细化运营在一片红海中继续获得确定的用户增长而

测试就是一种有效的精细化运营手段。简单来说

小程序产品转化率、优化获客成本的数据决策方法。在对产品进行

测试时我们可以为同一个优化目标（例如优化购买转化率）制定两个方案（比如两个页面），让一部分用户使用

方案统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策从而提升转化率。

2008年奥巴马竞选美国总统的时候有一个互联网团队专门负责竞选相关活动的线上产品，例如奥巴马的竞选募捐网站這个网站最核心的目标是：让网站的访客完成注册并募捐竞选资金。这个团队当时做了一个非常成功的实：通过对6个不同风格的主页进行

嘚新增用户直接带来了额外的5700万美金募捐资金！

相当于每月能多获得价值40万推广成本的新用户。

在做版本迭代更新的时候所有的功能嘟需要做

测试客户的实际经，一个产品在遇到“影响大选择难”问题的时候，是最适合做

以广告投放的落地页为例随着流量红利的结束，落地页的投放成本越来越高落地页转化率效果的优劣影响也变得越来越大；与此同时，不同设计风格、不同布局的落地页之中到底哪个转化率最高往往是一个困难的选择题。在“影响大选择难”这两个条件都符合的情况下，落地页的

测试的实施成本就像之前提箌的奥巴马竞选网站首页的

测试一样，5700万美金的收入收益远高于整个实的成本

测试，而是根据经直接上一个落地页呢？在回答这个问題之前我们先来看看我们在做产品决策时，常面临的一些挑战：

产品优化依靠经主义不能保证新的产品版本一定会有业绩提升

重大产品功能很难决策，不确定哪个方案效果最优

“后”成本高如果改版失败，业绩损失无法挽回

从这些挑战中我们可以看到如果我们在产品上线时不做

测试的话，一方面不能保证上线的版本转化率等指标一定是最优的其次还面临着因产品改版失败带来的用户流失、业绩损夨的风险。实际上随着业务的发展，产品迭代体系的逐渐成熟新功能上线时必须做

测试的紧迫性会越来越高，因为改版失败的风险越來越大而用户的习惯也越来越难以捕捉，所以

让我们来看一个真实的例子下面这幅图，反应的是微软

测试实而到15年之后，整个搜索引擎每周的

测试频率也增长（图中绿色曲线）到了每周近100个实由此可以看到，随着产品业务和用户量的增长对

测试的需求也会随之增長，由数据来做科学决策的必要性也随之提升

测试客户来看，我们发现这些挑战可以总结成三个方面的问题：人、业务和工具

任何一個组织，核心要素都是人在这个要素中，最重要的就是让整个团队的成员统一思想想明白诸如“什么是

测试？”“是否有必要在我們的产品运营中做

在一个具体的业务场景中，我们最关注的问题往往是如何将

测试在业务中的价值最大化这个时候，产品运营比较关心嘚问题是“在已有的产品迭代流程中如何低成本高效率地引入

测试？”“如何在有限的资源投入情况下，最大化提高

测试工具最大的恏处是与企业业务关联度高这种方式比较适合有强大的数据分析技术研发实力的企业。而与

测试这样的专业第三方服务企业合作最大嘚好处是能高效率、低成本地开展

当一个团队具备以上三个要素，开始真正推进

测试时最佳的实践流程是怎么样的呢？如果是初次接触

測试的效果好坏非常依赖灵光一闪的好想法好创意如果创意好，

测试的效果就不行”这种理解最大的问题就在于，忽略了

测试其实是囿一套完整的方法论和实践流程的在这套理论体系下，我们是可以稳定地通过

测试流程体系中首先要做的，就是确立想要优化的“目標”在这个过程中，我们建议大家一定要设立“可量化的、可以落实到某一个具体功能点的、可实施的小目标”举例来说，如果一个目标不好直接量化例如“将用户满意度提升15

测试方案。同理如果这个目标太大太宽泛，也不好落地一个可行的目标可以是“通过优囮注册流程，将注册转化率提升20

”这个目标可以量化，而且足够具体可以在后续流程中形成一系列相关的

通过数据分析，我们可以找箌现有产品中可能存在的问题只有先发现了某一个产品环节可能存在的问题，才好在后续流程中提出相应的优化方案以优化这个环节嘚转化率。

在这一步我们可以针对数据分析发现的问题，针对性的提出产品优化的方案例如优化流程以提高转化率，优化设计和文案等等一般来说，

测试的想法会以“假设”的方式提出例如，“假设把注册流程中的图片校码方式改成短信校码的方式，我们的注册轉化率可能提升10

测试并通过实的数据证这个假设是否成立。在后面的章节我们也会通过更多实际的

在开发资源、版本排期、优先级等因素的制约下我们很可能不能对所有的想法进行实。在这一步最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进荇优先级的排序，并选择最重要的几个想法进行

测试来说结果主要分成两种：有效和无效。无效的

测试实对于团队来说其实是非常宝貴的经，这个时候我们可以把这些无效的实转化成团队的经避免以后再犯同样的错误。而对于有效的

测试来说我们成功通过实提升了產品的转化率，这时我们可以把优胜的版本正式推送给全部用户以实现产品用户的有效增长。

在这个流程中最重要的就是迭代、迭代洅迭代。尤其是在刚开始推行

测试的时候很容易遇到“团队成员经尚浅，不确定哪些产品功能点做

测试效果会比较明显”的问题往往需要一些

测试的信心。这个时候比较有效果的办法有两种：一种是针对一些转化率相对较低、很有可能通过改版获得提升的产品功能点，精心设计

测试实一般都会有比较明显的效果；另一种是快速地做一批简单的

测试实（例如修改关键按钮的文案，颜色图标等），只偠其中有一部分实取得了成功就能很好的在团队内部推进

5的可视化编辑功能，可以对按钮、图标等控件进行“所见即所得”的可视化编輯实现文案、图标的实时修改，而且无需应用市场审核可以即时更新，非常适合快速地进行简单的

某国外大型互联网公司分享过一个囿意思的数据在他们进行过的数千个

3的实取得了正面提升。这个数据说明了一个很有意思的现象：“产品经理的很多想法其实不符合預期”，这也是为什么需要通过

测试的真实实数据来进行产品决策的原因

插播福利：感兴趣体美图、宜人贷、相机360正在用的智能优化

带著这样的假设，他们设计了如下图所示两个版本的注册流程通过使用

的用户流量，通过一周左右的实观察数据显示新版本（短信校码）的注册转化率提升了接近10

的提升。基于这个实结果产品经理选择将新版本注册流程推送给全部用户，显著提升了注册转化率

首页大妀版对于一个产品来说，无疑满足“影响大选择难”两个必要条件。在下面这个

首页改版的例子中新版本的首页布局发生了多处改动：例如改动了4个子栏目、新增了一个

来说，首页的改版属于非常重大的产品变动稍有不慎就可能对现有用户体造成很大的影响，如果改蝂失败会直接导致成交额、用户点击转化率、留存率的下降。正因为影响重大同时又不确定新版本是否能提升业绩，所以

产品经理进荇这样的大改版核心目的主要是为了提升首页向二级页面的点击转化率，并最终促成更高的成交转化在这个实中，因为有多个首页模塊发生了变动我们需要为不同的首页模块分别设置对应的指标，以对比两个版本首页向二级页面的转化率优劣通过

，并运行2周实之后实数据显示新版本首页向二级页面的整体点击量提升了12

测试，产品经理成功证了新版本首页达到了预期的优化目标之后就可以将新版夲发布给全部用户了。

测试优化实以提高社区化转型过程中用户对拍摄功能的使用率。

测试优化实以提高社区化转型过程中用户对拍攝功能的使用率

测试，已经为很多顶尖的产品经理、运营推广团队提供了从优秀到卓越的必杀密器为产品、运营和经营管理人员，有效掌握、提升了以下这些经营核心指标：

在跟美图、宜人贷、自如、51信用卡、相机360等众多合作伙伴做

测试引擎一定是越来越智能越来越自動化：智能优化引擎应该能实时持续动态对不同产品版本进行数据分析，并进行智能流量调节无需人工干预，自动提升转化率降低产品试错风险。

于是我们在18年推出了业界首家基于强化学习的智能优化引擎，可以7

24小时系统自动进行版本选优和比例调整无人工干预，保持运营水准持续提升感兴趣的同学可以访问

24小时智能、自动、持续提升转化率，省时省力

测试的一些相关知识例如分流算法、统计算法、95

置信区间、统计显著性等等。如果对这些内容感兴趣的读者欢迎加作者微信交流：

创业公司，尽可能详细介绍一下这个事情希朢对大家有帮助：

翻译过来的意思：（偷懒了，谷歌翻译略作了修改）

测试，曾在多个领域产生深远的影响其中包括医药，农业制慥业和广告。

通过随机化和适当的实设计实构建了科学的因果关系，这就是为什么对照实（

在软件开发中产品需求通过多种技术手段來实现

测试实提供了一个有价值的方式来评估新功能对客户行为的影响。

测试实能力从而可以用更科学方法来评估规划过程中不同阶段嘚想法价值。

我们用震撼人心的效果来说明先优先级是否一样能获得大家的信任。

）始建通过值得信赖的实来加速创新一路上，我们必须解决技术和文化的挑战我们给软件开发人员、项目经理和设计师一副“公正的耳朵”，帮助他们听取客户真实的诉求以及用数据驱動的决策

测试其实是一种“先”的实体系，属于预测型结论与“后”的归纳性结论差别巨大。

测试的目的在于通过科学的实设计、采樣样本代表性、流量分割与小流量测试等方式来获得具有代表性的实结论并确信该结论在推广到全部流量可信。这里面又涉及到数据化驅动决策与确定性优化提升等等延伸概念接下来我详细解释。

（说句题外话大量的大数据公司都在尝试通过“后”结论进行未来行为預测，个人觉得然并卵主要是因为数据不全、脏数据、随机事件、建模人为因素等等影响，方向无比正确现实无比残酷）

测试这种方法论的应用非常广泛，这里讨论在

产品、移动产品、数字广告优化领域的应用应用场景由小到大可以可以分为：

当产品已经相对稳定，巳经上线并且有一定量的用户在使用时

比如上面这个界面的变化：背景图片变了、模特换了、

按钮来说，它的目的应该是“点击”也僦是说“点击次数”是衡量它好与不好的一个指标，当然还有其它如“点击率”、“首次点击次数”等等

不同的产品侧重不同，为了简單点说明白这里假定“点击次数”是衡量这个优化的唯一指标

这里涉及到“科学的方法”涉及到很多统计学的概念，我就不一一解释了有兴趣可以看看，我用这个栗子来描述这几个词到底是个啥：

样本特征：这100万用户有各式各样的特点（性别、地域、手机品牌与型号、甚至是不是爱点按钮等行为。）

的流量；假定将这100万用户根据样本特征与相似性规则分为100组那每组就是1万人，这1万人就是1

测试的实中需要保证小流量的实具备代表性，也就是说1

流量的样本特征具备相似性（说个最简单的逻辑：假定把所有小米手机用户均匀的分到这100組中，那第一组的所有小米手机用户的特征与第2组

代表性误差：代表性误差又称抽样误差。主要是指在用样本数据向总体进行推断时所產生的随机误差从理论上讲，这种误差是不可避免的但是它是可以计算并且加以控制的。（继续小米。尽管把小米用户均匀的分成叻100组但是不能完全保证每个组里的小米用户的数量、性别、地域等特征完全一样，这就带来了实误差风险）

聚类：物理或抽象对象的集匼分成由类似的对象组成的多个类的过程被称为聚类也就是在分配小米用户的过程中，需要按照实目的的不同把特征相似性高的用户认為是一类用户比如定义100次点击为高频点击，可能在某些情况下也会认为99次点击的用户跟100次点击的用户是一类用户

的置信度差别在于，樾高的置信度得出结论的实时间越长、流量要求越高

的流量还是有差异的嘛所以实结果的评判要有一定的前提的，置信度就是这个前提置信区间表示在这个置信度的前提下，实结果很可能会落在一个区间内比如下图，95

说明这个实结果还不稳定，可能是试时间短或者昰流量不够

理解完这些，我们继续回来说“好”怎么衡量：

实际上你需要一整套工具。。知道为啥我们创业做这个了吧，实在有點复杂

基本的衡量逻辑如下图：（看起来很复杂，其实真正使用的时候比较简单）

是时候讲讲数据化驱动决策与确定性提升是什么意思叻：

测试是典型的靠谱数据化驱动决策拿这个栗子来说：无论是绿按钮还是橙色按钮只有用户真正使用了才能判断到底哪个更好，所以鈳以先用

的用户进行实让用户用实际的行为来告诉你哪个好。假设结论是下图那就很不幸，你原来绿色的版本更好因为这1

的用户通過“点击次数”这个指标告诉你，他们不喜欢橙色的设计

这就是数据化驱动决策，不用一屋子人你拍桌子我瞪眼的争辩到底那个设计好让真实的用户跟数据告诉你到底哪个更好。

确定性提升：这就更好解释了有了这么个工具，每次只有效果好了才会上线也就意味着烸次优化都能比以前更好，无论是产品经理的自信心、用户的体还是投资人那里咱都可以理直气壮地说，我的每次更新都比以前更好叻。。

测试：重要页面的修改和流程上的调优通过灰度发布到1

的用户，看其实际对用户的数据影响（访问时间增加、留存提高、下单率提高等）决定此修改到底是100

6个月内所有版本完全线上灰度发布，通过不断进行用户流量分割的方式进行实获得无

测试这么伟大的方法论只用来测界面（当然真有效啊！！！），有点太小瞧它了无论是推荐算法还是定价策略，用这个方法论轻松搞定啊！

用我最朴素嘚理解，人类是喜欢折扣的不理性动物：人们明显更乐意花45折买一个价值900块钱的东西而不是花67折买一个价值600块的东西尽管东西一样，最終价格一样都是400块

所以你看电商广告都是打折配合几个垫背的低价来卖。。

这里面太多心理学与营销的东西就不说了在某些情况下，即使几分钱的价格变化对用户转化的影响是巨大的比如一个东西原来卖400元，那现在改成399还是401可能对总营收的影响并不巨大但是配合鼡户转化率的变化，可能营收的差异就天差地别了

伴随着产品迭代、促销等等因素影响，什么时候降价是对自己最有利的策略完全可鉯

测试在产品层面的应用主要是通过“灰度发布”来实现的。

打补丁还得再来一遍也就意味着补丁的审核期内用户带着

使用，这个太致命了用户的获取成本高的吓人，因为这个流失太不值得了基于

测试的灰度发布更重要的不是优化，而是保护性发布先通过小流量的實际用户测试，有

或者新版本体不好可以立即回滚到老版本，简单有效

测试其实也是谷歌管理方法论，具体文章请参考：

貌似混乱和囹人困惑的产品线你会发现其实这家公司正谨守着这一价值观。

往往喜欢针对同一客户群推出多项竞争产品这样的话，如果一个产品夨败了也许另一个产品能够补上。

现在终于有了一个统一的即时通信平台了这算是不幸中的万幸了吧。且慢据印度经济时报报道，

现在用户要求统一拨号应用的呼声也开始高涨起来。

平时就是这样折腾的其行动表明，自己并不相信一个问题只有一种解决方案哪怕这样会让用户的日子好过得多。因为它需要应对外部各个领域的竞争对手而且

似乎也认为没理由竞争就不能出自内部—让自己的产品洎相残杀。

公司本身也是这么运作的它给单个问题提供了多个解决方案，希望能从中决出优胜者

的长期健康来说是好的，但它也浪费叻许多资源到处都是重复的工作，但

这对于客户来说也不是最好的它往往会给用户选择造成困惑，不知道在

的生态体系里面应该如何②选一尤其是在智能手机上面同一用途的

更看重长期市场存在而不是短期的易用性。这一点也许是

和苹果最大的不同苹果提供了一个聚焦的用户体，非常容易理解

则对做任何事情都提供了多种手段，有的做得不错有的则过于复杂，而有的则是

“僵尸产品”—未曾积極研发但一直都在好些年

的形式来整理多产品策略带来的混乱。2011年

推出新产品的速度似乎比清理老产品的速度要快得多。

看起来纯属掱贱无法控制自己几波人同时做一件事的方式已经成为公司文化的

的两款竞争产品希望它们合并时，你得知道这并不能解决问题

最终還是会折腾出新的内部竞争者，然后再度冒出

种办法去解决并且在策略上会对两者都同时下注。

即在某个条件下的两组数据，分别讨論时都会满足某种性质可是一旦合并考虑，却可能导致相反的结论

大多数的产品或功能上线前都会进行测试，实际上很多的测试行为並不科学特别是很多定向的用户测试经常会有这个弊端，简单来说如果新上线的一个功能，所有的研发工程师都说好那是不是意味著所有的用户都觉得好？很多情况下是否定的当然这个例子比较简单，实际上很多

测试方法并没有考虑到这个问题以至于最后得出的結论跟实际情况差异巨大。

要解决这个问题对采样、聚类、流量分割等要求非常的高，这也是为什么

测试工具不能像很多统计工具一样埋个点看数据，再根据数据反推业务逻辑而是要充分与业务结合，从一开始就应该考虑业务策略让用户去选择适合其口味的产品。

是一种在分析统计资料时常犯的错误。和以偏概全相反区群谬误是一种以全概偏，如果仅基于群体的统计数据就对其下属的个体性质莋出推论就是犯上区群谬误。这谬误假设了群体中的所有个体都有群体的性质

现在的创业者面临着前所未有的竞争压力好的想法与用戶接受的想法有着各种不可逾越的鸿沟。特别是伴随着激烈的竞争谁能领先一步可能就变成了赢者通吃的局面。

测试来优化产品的方法茬国外已经被广泛应用现在这种代表先进生产力的方法如同

一样也正在逐渐被国内广大开发团队所接纳。

优化平台能够帮助用户提高产品的设计、研发、运营和营销的效率降低产品决策风险，同时也能够帮助用户用数据优化移动广告让流量的变现价值更大。

灰度发布昰切一部分业务使用新方案看效果如何，是否有

说句不好听的各位答主所述都是最皮毛浅显的东西，分明有一种答主很叼在座各位嘟是

某公司用这个解决了多少问题，又关你屁事

但凡学过中学的简单控制变量法，都不难理解

无非就是对两个样本做对照得出差异部汾的正负影响，这都能写一堆真是醉了。

这个问题的重点是如何应用的实际工作中。

如果是线下产品你的代价是要制造出两份商品來让客户消费，最后评估结果；

如果是在线发布的产品你的代价是均匀剥离样本和分开跟踪，最后评估结果

1、你怎么保证剥离的样本，在量级、属性上相似并且能代表全局特性；

2、你怎么保证满足1条件后能准确针对样本，来实施变量精准调控；

3、你怎么保证满足2条件後能准确跟踪到两个样本的表现特征。

线上的用户不是中学课本上的实对象用户都是活人，而且不是你能直接看到摸到的我们通常呮能通过数据观测来分析和得出结论。

2、能均匀地把独立用户分成2个属性一致的样本群体

这里涉及到版本发布的预见性、云端调控的灵活性、数据跟踪的准确性等问题是要根据实际问题调整的。发散开去都是一个个命题，如何给独立用户做标记如何把数据统计和标记關联起来之类的。

我讲这些可能无法直接解决你的问题，但绝对比其他答主写的忽悠人的空话套话有意思

测试随着移动互联网流量红利、人口红利的逐渐衰退，越来越多的产品运营开始关注数据驱动的精细化运营方法期望通过精细化运营在一片红海中继续获得确定的鼡户增长，而

测试是什么呢团队内部经常会有针对细节上的意见不一致的情况，你觉得你的想法好我觉得我的想法好，那与其大家吵來吵去还不如把每个人的想法拿出来快速证一下，看看真实用户的反馈那么反馈数据最好的自然就是最终我们的选择。

比如说我们偠决定放一张图片，通过图片来吸引用户点击我们的页面那这个时候，你觉得放一张仙人掌图的效果最好我觉得放个慈祥老太太的照爿效果最好，那我们谁也没法说服谁不如就拿出

人看仙人掌，计算他们会有多少人来点击这张图片然后给另外

人看老太太人像的照片，同样计算他们的点击率那么点击率高的那张图，就可以被认定是效果最好的然后可以给所有的用户看。

那么现在国内外各大网站呢都会使用这种测试方法。尤其是媒体类的比如说新郎网易这样的大平台，他们在起标题的时候都会起很多，然后挑选其中感觉最好嘚拿来做

分钟，测试几个标题然后选出选出效果最好的，最后就都用那一个

同样呢，微信公众号也可以做类似的测试但是会麻烦┅些。首先你得有一个微信个人号里面全是你的用户，然后把个人号的用户群体分成了两个或者多个分组那么每次你拿不准标题和配圖的时候，就可以用预览的方式做出不同版本的微信图文，然后发到朋友圈给不同的分组看，看看实际的点击效果怎么样这个测试鈈是特别准确，但是能起到一些参考作用然后在正式的推送之前呢，就可以根据参考的结果来进行调整

测试的用途非常的广泛，比如說去哪儿就会用这种方式来测试广告投放的效果

？团队内部经常会有针对细节上的意见不一致的情况你觉得你的想法好，我觉得我的想法好那与其大家吵来吵去，还不如把每个人的想法拿出来快速证一下看看真实用户的反馈，那么反馈数据最好的自然就是最终我们嘚选择

测试能快速帮助我们做出正确决定。比如说我们要决定放一张图片通过图片来吸引用户点击我们的页面，那这个时候你觉得放一张仙人掌图的效果最好，我觉得放个慈祥老太太的…

测试作为对比某几种方案优劣的方式可以有效降低产品经理在做产品决策过程Φ出现拍脑袋决策、重复无用…

测试作为对比某几种方案优劣的方式，可以有效降低产品经理在做产品决策过程中出现拍脑袋决策、重复無用改版的情况那么你们公司都是怎么做

测试过程中遇到有价值的问题」展开来介绍下。

测试是万能的」这一概念没有什么工具或方法是万能的，要想发挥作用必须有合适的条件

测试过程中有哪些坑呢？我总结了5个这几点都是值得注意的：

测试时，犯的最大错误就昰没有目的的测试

测试需要一个目标，以便正确执行：比如产品经理的目标是想通过测试弄清楚某个颜色方案或某个标题能否产生更哆订单转化。而如果你的

测试创意不够他们总是简单地改变一个词或颜色，但这并不总是能获得理想效果无论你是产品经理，还是运營专员你都需要开拓思维，做较大的改变

例：研究结果显示，着陆页显示真人照片的网站转化率比没有显示的网站更好这种着陆页產生了人与人之间的联系，而不是人与产品、图表和符号之间的联系

测试转化率结果不好，可能需要从根本上做改变而不是做小的调整。记住

测试的目的是找出什么元素对提高转化率有效。太保守就不会得到想要的结果

新用户和老用户之间有很大的区别。过去已经訪问过网站的用户特别是那些经常访问网站的用户，会习惯网站的缺陷他们习惯网站微小的差别，因此这些人不能显示测试效果而叧一方面，如果与期待中存在微小差异新访问者会对此做出极大的反应，尤其当在他们是从社交网站访问企业网站时

测试指定网页时，需要追踪和区分新用户与回头客各自的测试效果

测试的受欢迎也促使线上可用测试工具数量增加。有些是付费工具有些是免费的，泹它们的益处和结果都类似

测试工具是一个重大失误，这不仅会花费您的时间、金钱甚至还可能影响品牌的完整性。一些工具会对网站的

和转化率有负面影响而其他提供错误数据的工具，会对决策的制定造成负面影响在此，我们推荐研发实力与资金实力足够的服务供应商比如国内的

服务，实际上屈指可数真正有技术含量的并不多。

为了避免出问题应该使用正确的工具，并一开始先进行

测试將相同的页面分成两个不同的版本进行测试，以确保获得准确的统计结果

另一个常见的错误是测试时间不够长。没有耐心的

测试会在测試运行24或48小时后就停止专家建议运行测试至少要7天，最佳时间是两周数据样本越大，信息就越准确、真实

对于驱动产品开发和管理層决策的门槛还是很高的，对于整个产品开发团队从决策、管理到设计和开发、运营中的各个环节都系要保持高专业素质并且部门间磨合佷好另一方面，我相信为数众多的小公司甚至是部分中大型公司在对于

的真正实施和最终结论都会有一定的差距（至少我们公司是这样嘚可能公司规模比较小，能力有限）

简单点讲就是保持定量维度一致性，通过变换若干变量数值来得出不同方案并对已确定用户群進行分别投放测试，及时获取反馈信息和相关数据

由于公司项目细节是保密的，所以我就简单分享下在做

每次测试有且只有一个目标任何变量的选取都是围绕这个目标进行。

结果并不能反映实际情况（如果流量太小实在是没有必要做测试）

对测试数据保持敬畏之心，偠数据说话但是又不能迷信数据。

是一个长期过程只有长时间测试精确度才会无限逼真。

简单点讲就是保持定量维度一致性通过变換若干变量数值来得出不同…

探索营销·管理，成就科技品牌；倡导创新、健康、简约的生活方式

测试，我建议直接使用吆喝科技这样的第彡方专业做

测试需要一个目标以便正确执行：比如产品经理的目标是想通过测试弄清楚某个颜色…

一直以来，我们在关于增长的文章和書里看到了太多的

测试的例子其中最典型的例子包括某大公司通过

测试，发现把按钮改几个字注册率即得到了大增，又或者某个产品将产品描述换了个说法，付费率提高了一倍

这样的例子不胜枚举我不否认，产品中的细微差别很可能造成巨大的数据变化这让人兴奮，但事实肯定不会这么顺利不仅如此，你会发现真正做

测试的产品其实并不多大多数开发者和产品经理并非没有这个意识，而是因為：太

测试需要开发人员做大量的适配例如目标和测试处的埋点，转化率的计算和展现等等开发人员不爱这样的活儿。而产品经理如果不够强硬又很难拿出足够的理由来说服程序员做这件事。

拜托我只是想给我的小产品做一个简单的测试，看看「开始使用」和「快來用吧」这两句话哪句话带来的注册用户更多，我不想花钱也不想和商务经理联系来做这件事。我就想一个人花几分钟轻轻松松的紦这件事搞定了。那么能不能搞定呢？

测试工具在某种程度上也是最好用的，就是

统计一样后台虽然需要科学上网，但是用户并不需要

不知道为什么大陆这边的开发者貌似很少有用到这个「神器」，反而是台湾的开发者讨论较多：

一个容器对应着一个网站，一个網站可以有多个测试

进入这个容器然后点击「我们开始吧」或者「创建体」，新增一个

测试即可其他的也可以自行研究，都是非常强夶的工具

我们首先点击增加变体去设置第一个版本，例如我想在这个版本中突出免费使用这一点，那么不妨就叫「免费按钮版」然後点击修改按钮，去设置这个版本的内容

这个部分很酷通过插件，你可以所见即得的编辑任何内容包括图片，文字排版——任何用

修改完成之后，点击完成即可保存这个版本

然后继续发挥你的脑洞，给每一个不同的设想都设置一个变体

默认流量会给这些变体随机平均分配你可以自由设置

如果你对新的方案没有太多信心，可以只给予其一小部分流量观察其表现，然后再逐步放大测试

以上都是设置變量接下来我们只需要再设置好用以衡量这些变体效果的目标就大功告成了

网页往下拉，找到「衡量与目标」创建一个自定义目标

就會告诉你最近7天，从「首页」进入到「注册」的用户有多少以此来证是否设置正确了

统计中设置的目标，比如我之前设置了「查看付费②维码」的目标此时也可以直接添加进去，通过这个目标我们可以统计到不同文案，对最终的付费有什么影响

才可以追踪到数据你鈈需要编写或修改其中的任何部分，只需要复制粘贴放在页面中就可以了

最后，点击右上角的「启动」按钮即可开始这场

等待一些时間，至少1天你就可以在报告页面查看数据报告了：

你可以看到不同版本，其转化率如何用户表现又是如何，如此一来你就可以非常方便的调整你的文案

教程在这里就完毕了，在付费区域我将会使用一个例子来具体讲一下

测试的效果和数据分析，另外购买后我还提供1次免费咨询，大概就是这样了

如果你觉得以上内容对你有帮助或者你对具体案例更加好奇，又或者你有什么想问我的不妨花几块钱買一下，反正不会吃亏咯

测试的产品其实并不多大多数开发者和产品经理并非没有这个意识，而是…

文章降重一需要专业知识储备二需要不错的英语写作水平，实属难事

两拨用户，怎样筛选才更合理直接随机的话，会不会出现用户性别分布或者地域分布不均匀的情況…

两拨用户怎样筛选才更合理？直接随机的话会不会出现用户性别分布或者地域分布不均匀的情况，这种差异肯定会影响测试结果因为男女用户的行为本身就是存在差异的。

感谢小伙伴们对我们信任一个劲儿的丢问题到我这里，感觉知识被掏空了

这是一个基础性嘚问题即便不是技术人员，也会有这样的担心但是，请大家确定一个基本的认知

测试不是随随便便的拉两组人做测试，而是每一步嘟有逻辑和算法的支撑实际上，是最科学干扰最少的方式。

下面我从原理上证明一下刚才的这个说法：

从统计学角度考虑，要得到鈳信的数据结论需要满足一定的样本量通常我们认为产品日活达到1000左右即可，日活越高统计结果收敛的速度越快根据吆喝科技服务过嘚客户经，如果日活能够达到一万那么5天之内就能完成一次样本量充足、统计结果充分可信的

测试应用控制变量的思想，除了要对照的產品方案之外要求其他的环境因素完全一致，也就是说对于样本间的分流要尽可能使用户的组成成分完全一样，例如所使用的设备类型、新老用户占比等等

横向去看，需要保证两批样本中各种特征用户所占总用户比一致。

纵向去看需要保证两批样本不会出现交叉——对于某个用户，如果在首次启动时进入了

版本这说起来理所当然，却是很多开发者经常忽略的一件事

从实践的角度上来讲，此前開发者比较常见的简易方法是使用不同的渠道对比测试这样做的好处是成本极低，只需要打两个不同的

包分别投放到两个市场渠道然後对比数据；坏处也十分明显，就是无法控制样本组成有可能两个渠道的用户质量差别很大，这样得出的结论几乎是不可信的

同样，某个渠道的用户不能代表所有用户有可能在单个渠道上获得数据提升，推广到全渠道上却没有效果甚至会产生反效果。

然而要达到令囚满意的效果就不得不考虑自建服务端控制分流的系统，通过自己的服务端脚本来控制每台设备要展示哪一种试版本可想而知实现成夲颇高，除了开发量之外还要消耗大量的

除此之外，能否保证同一台设备每次都能够展示同一个版本、如何判断用户到底有没有受到试方案的影响、如何灵活的随时调整样本数量等等越是考虑到这些细节问题，就越会发现实现成本几乎高到不可行

测试无路可走，目前市场上已经出现了一批专为产品迭代中的

测试服务的企业例如吆喝科技，完美解决了样本分流的痛点：核心的分流算法可以保证样本间嘚一致性并且规避了自建分流系统的成本，只需要集成

在样本很大的情况下随机划分在大多数情况下是能够去除用户本身属性干扰的。、

能获得的样本比较少比如想只在某个城市测试一个新的功能，或者产品本身用户较少往往短期内能触达的在线用户有限。这种情況下两批样本用户本身属性差异有很大概率会很明显比如，在一个有20人（10男10女）的房间内随机分开两拨人几乎第一次划分时两组人的侽女比例肯定是有很大差异的。

一样的分组然后对两组人投放同样的用户体（所以叫

）。这时如果两组人表现有统计显著性的不一致則说明两组样本本身属性有差异。此时需要从新分组在工程实现上通用办法是再随机设定一个

这时表明已经找到两组本身属性一样的样夲用户。随便选其中一组的用户做测试组另一组做对照组，就可以放心的做

99的用户显示为蓝色对比哪个区间的用户点击按钮的比例更恏。

1）如何保证数据准确：并不对两方案五五分成而是对于同一个设备，在第一次获取到

策略这样就避免了每次看到的页面都是随机絀现的。

此方案从控制变量法的角度考虑则是控制了概率是不变的。

更可行价值更大，则需要立刻能够更改到方案

测关闭所以后端需要提供接口，可随时修改选定的方案

能获得的样本比较少。比如想只在某个城市测试一个新的功能或者产品本身用户较少，往往短期内能触达的在线用户有限这种情况下两批样本用户本身属性差异有很大概率会很明显。比如在一个有20人（10男10女）的房间内随机分开兩拨人，几乎第一次划分时两组人的…

从统计学角度考虑要得到可信的数据结论需要满足一定的样本量，通常我们认为产品日活达到1000…

試评估时可以加上人群下钻功能；同时实组和对照组本身固有的差，也需要在计算实结果以及显著性时考虑进来

先说下目前大部分创業公司面临的情况，也是很多团队做增长和

测试遇到的困难就是没有专人研发、无工具

测试是万能的，短期看不到效果就失去耐心无法持续进行等等……

，真的要做好很难需要研发资源支持，其中细节不必说了统计算法、流量分割等等都必须做好。目前国内

测试服務标准版永久免费对中小企业和创业团队来说功能就够用了。

、小程序及后端程序支持灰度发布等等，不一而足！欢迎体：

为产品经悝互联网推广，数据分析师寻找最好的

测试是万能的短期看不到效果就失去耐心，无法持续进行等等…

测试支持：编程模式、可视化模式和多连接模式

测试都支持，灵活性高但是需要开发人员参与；

的版本编辑、即时上线无需应用市场审核、实时决策等

3、多链接合并模式则适用于产品多落地页选优的

题主可以点击下方文档链接具体了解一下如何创建

和关键业务运营指标节约运营成本，并可实现定向汾组、科学流量调配以进行灰度发布降低产品迭代时的决策风险。

测试是基于数据来进行优选的常用方法但是你真的了解

测试遇到非簡单情况时（如分组不够随机时，或用户量不够大到可以忽略组间差异或不希望…

测试遇到非简单情况时（如分组不够随机时，或用户量不够大到可以忽略组间差异或不希望大规模

测试长期影响一部分用户的收益），该怎样通过掌握理论知识来更好的指导实践呢本文嘗试通过由浅入深的介绍，希望能够帮助大家对

当面对众多选择时我们应该怎么选才能最大化我们的收益（或者说最小化我们的开销）呢？举例来说怎么选择最优的上班的路线才能使途中花费的时间最少？在这个例子中我们的收益可能是依据于上班时间，但同样可以昰燃料成本或交通时间

任何问题，只要它的每个选项能够被多次进行测试并且每个选项在被测试时都能返回固定的结果，那么它就能使用

在上述例子中每天的上下班路线是确定的，所以我们能够在账本中记下往返路线的长度久而久之，上下班的人会从数据中发现到┅些模式（例如路线

花的时间更少）然后最终一致选择某条路线。那么什么样的路线对于用户来说才是一个好的方案呢是考虑路线

？什么时候用户才有充分的数据去确定哪条线路是最好的测试线路好与不好的最优策略又是什么？图1用形式化概括定义了问题

形式化定義的问题。在这个场景中参与的用户正面临一个选择，根据他的决策会生成一个结果

而这个结果会对应一份给参与者的反馈假设用户歭续地暴露于这个决策，他应该怎么制定获得最大收益（或等效地说最小成本）的策略？

图1中假定了用户多次处于需要进行选择的场景Φ每一次进行决策都会达成一项结果，而这个结果会关联相应的反馈在上下班这个例子中，假定他每天都需要上下班而且他每次上丅班都必须进行线路的选择，产出的结果是这次上下班中所有因素的结合体反馈就是从这些因素中构建出来的（陈运文

这是个浅显的例孓，在互联网产品研发时有大量类似的场景需要做出各种正确的选择，例如：

）——在用户点击去往的页面（着陆页）如何获得最大嘚转化率（常用计算方法为有购买行为或深度网页交互行为的用户数占网站访问总用户数的比率）。决策要考虑到着陆页的形式和内容（偠从可能已有的3或4个备选方案中做出选择）希望能够从候选集合中选出最好的着陆页，以能够吸引来访的用户并让深度交互或者购买荇为的概率最大化。

）——在线广告提出了许多适合机器学习技术应用的挑战其中之一就是如何选择广告的形式和内容。当我们决定将偠进行广告展示以及确定了广告的价格后，在这个广告位上选择放置什么广告呢我们需要对大量的决策进行测试，选出正确的广告创意组合

经常遇到的问题是，我们应该怎么评估各不相同的决策以及应该采用哪些策略来测试我们的产出？

测试近年来很受欢迎但大蔀分产品经理也许会简单地认为它只不过是一种包含两个组的实，其实背后有更为复杂的数学统计理论知识

接下来让我们深入一点了解具体细节：当进行

组。第一个组是对照组第二个组会改变其中一些因素。就以着陆页优化为例

组会展示一个内容或者内容作了某些修妀的新着陆页。

测试的目的就是尝试了解新的布局是否在统计上显著地改变了转化率

，将用户分配到对应的组需要经过深思熟虑对于

測试，我们可以高效地进行随机分组当用户数量较大时，各组间用户行为可以假设是相同的（即组间没有偏差）但是，这里有三个非瑺重要的关键点是大家有必要进一步理解其数学理论原理的原因：

问题一：怎样证两个组的用户的行为是无偏差、完全相同的

问题二：當两个组的用户行为不完全相同时（例如分组不够随机或者组内用户数量较小时），该如何设计

问题三：当用户基础行为受其他因素影响發生整体变化了呢例如季节、时间波动、热度等因素影响下，怎样更好的剔除干扰来评估结果

假设我们已经构建了两组数目较大的用户組这些用户组的区别仅在于他们到达的着陆页。我们现在希望能测试两组间的转化率在统计上是否存在明显差异由于样本量大，我们鈳以采用双样本单尾

）另外，对于较小的样本集合我们可以依赖于

是在数据是正态分布和随机抽样的假设下运行的，目的是证测试集（

组）有显著不同但是如何执行这个测试呢？

000个样本我们需要一个数学公式来说明我们的零假设（

）——两组群体的转化率没有显著嘚正差异，和备择假设（或称对立假设

）——不同人群间的转化率确实存在着正差异。

我们可将采样转化率视为一个正态分布的随机变量也就是说，采样的转化率是在正态分布下对转化率的一个观测要了解这一点，请考虑从同一组中提取多个样本进行实将导致略有不哃的转化率每当对某组进行抽样时，可获得群体转化率的估计对于

组都是如此。为此我们提出一个新的正态随机变量它是

组的随机變量的组合，是差值的分布让我们用

表示对照组的转化率的随机变量。现在我们可以写出零假设和备择假设零假设可以表示为：

这表礻实组和对照组是相同的。两个随机变量

分布在相同的群体平均值周围所以我们的新随机变量

应该分布在0左右。我们的备择假设可以表礻如下：

实组的随机变量的期望值大于对照组的期望值；该群体的平均值较高

检，以确定是否有证据支持备择假设为了达到这个目的，我们对

进行采样计算标准分，并测试已知的显著性水平

的采样等效于运行两个实，确定它们各自的转化率并将对照组和实组的转囮率相减。按照标准分的定义可以写作：

为确定标准误差，注意到转化过程是符合二项分布的因此访问该网站可以被看作单次伯努利試（

），而积极结果（完成转化）的可能性是未知的假设样本数量足够大，我们可以使用广泛采用的

）将该分布近似为正态分布为了捕获特定转化率的不确定性，我们可以将标准误差（

））的方差得到分子而分母表示当采用更多的样本时，转化率的误差会随之下降請注意正面结果的概率等同于转化率，并且因为两个变量的标准误差可以通过相加来合并得到如下结果：

的值越大，反对零假设的证据僦越多为了获得单尾测试的90％置信区间，我们的

组的人口平均值是相同的）的条件下等于或大于这个转化率差值的偶然发生的概率小於10％。

换句话说在对照组和实组的转化率来自具有相同平均值的分布的假设前提下，如果运行相同的实100次只会有10次具有这样的极端值。我们可以通过95％的置信区间更严格的边界和更多的证据来反对零假设，这时需要将

大小的因素会带来很多有用的帮助很显然，如果茬一个给定的时间点从一个实集和一个对照集中提取两个转化率转化率的差值越大将导致

分数越大。因此就有了更多的证据表明两个集匼分别来自不同的人群而且这些人群带有不同的均值。然而样品的数量也很重要如你所见，大量样本将导致总体较小的标准误差这表明运行实的时间越长，转化率的估算越准确

设想你在负责大型零售网站，设计团队刚刚修改了着陆页每周有约20

000用户，并可以量化用戶的转化率：即购买产品的百分比设计团队向你保证新网站将带来更多的客户。但你不太确定希望运行

组，并在实期间始终保留在该組中实结束时评估两组用户的平均转化率。统计结果是新着陆页的平均转化率是0

827，超过了92％置信区间但不在95％的区间内。可以说從控制分布中抽取数据的概率小于0

08。因此在该区间内数据提升是显著的我们应该否定零假设，接受备择假设即组之间有差异，第二组具有较高的转化率如果我们控制了用户组的所有其他方面，就意味着网站的新设计产生了积极的效果

的数值越小，结果就越不显著還注意到由于

的数值与样本的数量具有直接关系，对于给定的转换概率也同样如此图2展示了这种关系。

假设转化率不会随着我们收集更哆数据而改变我们需要每个组中大约3

图2中可见对于两个组的给定转化率，测试组中的用户越多备择假设的证据就越充分。直观上来看這很容易理解：当收集的数据越多我们对结果越自信！我们也可以绘制一张类似的图，保持用户数量不变改变组之间的差异。但必须紸意对正在关注的应用，不应该期望效果的大幅度变化

对于非常小的效果变化，往往都需要创建相当大的对照组和测试组来实现

测试这个的代价往往是很大的。设想下在零售商场中每天观察到的用户数量，往往需要很久的时间才能得出明显的结论在实际业务应用Φ，会遇到的问题是：

当你运行测试时整体运行的效果是受到很大影响的因为必须有一半的用户处于效果不佳的实组，或者有一半的用戶处于效果不佳的对照组而且你必须等待测试完成才能停止这种局面。

的一个经典问题我们需要运行次优方法，以探索空间并找到效果更好的解决方案，而一旦找到了更好的解决方案我们还需要尽快利用它们来实现效果提升。能否可以更快地利用新的解决方案而鈈必等待测试完全完成呢？答案是肯定的下面简单介绍下多臂赌博机（

）的名字来源于著名的赌博游戏角子赌博机（

）。对那些从没去過赌场的人我们来做下解释：角子机（又称老虎机）是一个需要你拉杠杆（或摇臂）的赌博机器，根据机器展示的数值你可能会得到┅笔奖励，也可能（更大几率）得不到任何东西和你想的一样，这些机器的设置都对庄家有利所以能获的奖励的几率是非常非常小的。

多臂赌博机（理论上的）扩展了这种形式想象你面对的是一堆角子赌博机，每个赌博机都被分配按照一个独立的概率进行奖励作为┅个玩家，你不知道在这些机器后的获奖概率你唯一可以找到获奖概率的方法是进行游戏。你的任务是通过玩这些机器最大限度地提高所获的奖励。那么你应该使用什么策略呢

为了更严格地定义问题，我们通过数学形式化来表达假设现在有

。假设一次只能拉动一个搖臂并且赌博机只会按照它关联的概率机型奖励。这是一个设置了限定局数的有限次的游戏在游戏期间任意时间点时，水平线

对所有機器用户会尝试最大化的获奖回报在游戏中的任一时间点，我们都可以通过使用称为遗憾值（

）来度量用户的表现遗憾值的意思是，假设用户能在每一步选择最优的赌博机得到的奖励和目前获得的实际奖励的差值。遗憾值的数学定义为：

表示每一局从最优赌博机返回來的期望奖励遗憾值的数值越低，策略越优但因为这个度量值会受到偶然性的影响（奖励可能会被从最优赌博机选择中获得的期望奖勵更高），我们可以选择使用遗憾值的期望值代替

步从赌博机中获得的平均奖励（不可观测的）因为第二项是来自所选策略的期望奖励，所以它将小于或等于来自最优策略（每一步都选择最优的赌博机）的期望奖励

策略中最简单的一种方式，它被认为和事先执行

测试方法具有同等意义给定ε，执行探索空间操作的次数为

是游戏中总共的局数，剩余的次数都是执行后续探索的局数

算法会持续统计记录烸一个赌博机的奖励收入和游戏局数。变

会在每一局结束进行更新记录当前具有最高获奖概率的赌博机的编号，流程如下：

）策略中ε表示我们进行探索空间的概率，和进行利用已知最优摇臂的事件互斥

该方法的特点：不需要等到探索阶段完成，才能开始利用有关赌博機的奖励表现的知识但要小心，该算法不会考虑效果数据的统计意义因此可能发生这样的情况：个别赌博机的奖励峰值导致后续的所囿局游戏都错误地选择了这个赌博机（陈运文

）策略在实开始阶段，会有一个很高的ε值，所以探索空间的可能性很高ε值会随着水平线

上升而不断递减，致使利用似然知识的可能性更高

需要注意这里有几种方法去来选择一个最优的速率来更新ε值，具体取决于赌博机的数量，以及他们各自进行奖励的权重。

）假设每个赌博机的获奖概率被建模为获奖概率的分布。当我们开始实时每个赌博机都有一个通用嘚先概率（任意赌博机的奖励比率初始都是同等的）。在某一个赌博机上进行的局数越多我们对它的奖励信息就了解越多，所以基于可能的奖励概率更新其获奖概率分布当需要选择玩哪一个赌博机的时候，从获奖概率分布中采样并选择对应样本中具有最高奖励比率的賭博机。图3提供了在给定时间内对三个赌博机所含信息的图形化表示

使用贝叶斯赌博机策略对三个赌博机的获奖概率信息进行建模。第1、2和3个赌博机的平均获奖率分别为0

第1个赌博机具有较低的平均值而且方差也比较大第2个赌博机具有较高的平均值和较小的方差，第3个赌博机具有更高的平均值和更小的方差

可以看到关于赌博机的获奖概率分布的信息被编码为三个分布。每个分布具有递增的平均值和递减嘚方差因此，我们不太确定奖励期望值为0

4的赌博机因为赌博机的选择是通过对分布进行抽样来进行的，所以分布期望值是0

测试和贝叶斯赌博机的各自的优点和局限是：两者有各自适用的场景也证的变量数量也各不相同，具体如下表

测试中是指获得统计意义，在贝叶斯赌博机中是指累积遗憾值不再增加以本章最开始的网站优化为例，首先请注意任何行为的改变可能是微小的（

01），而我们已经知道貝叶斯赌博机相比大的改变提升需要更多的收敛时间。如果加了多种选择在同一个实中测试多种登陆页面，将更加会影响收敛速度假如用户变化导致的底层分布变的比模型收敛更快呢？比如季节趋势，销售或者其他因素可能会影响

显然，收集的数据越多对效果嘚潜在变化的把握度就越高。当2个组划分本身就存在统计差异时通过多臂赌博机而不是

测试的方法可以从概率上修正我们选择的分布。夲文还重点介绍了

如对文本挖掘领域的技术实践感兴趣可前往下载达观研究院编写而成的

，该书集合了当下最热门的人工智能领域自然語言处理、个性化推荐、垂直搜索引擎三大方向的技术实践总结融合了达观技术团队在服务华为、中兴、招行、平安、京东云等不同行業上百家企业后的技术感悟，是国内第一本系统介绍

技术实践应用的电子刊欢迎各位技术爱好者

定期发布自然语言处理、搜索引擎、推薦系统等人工智能算法技术方面的实践干货，欢迎志同道合之士投稿分享

策略等）中选出胜者提高转化率，加速业务增长

全面解决方案，有效提高转化确保客户成功！

北京合力云通科技有限公司成立于2015年5月，领先的互联网业务优化服务提供商世界500强

测试代运营，提高转化率和留存率公司创始人曾任职于国际著名公司，20年

用技术提高效率从数据提炼价值。帮助客户有效率的创造价值客户成功是峩们唯一的商业目标！

让人们的工作和生活更自在。愿通过我们的努力人们的工作和生活环境变得更加顺心如意！

通过假设、试、分析囷改进的闭环，提高运营能力根据访客的地域、性别、年龄、设备、购物习惯、购买历史等，提供个性的产品推荐支持网站

界面修改非技术人员即可完成，并可在线即时发布切实降低

能够智能采集用户行为数据，免除手工埋点等繁琐工作提高

测试实施效率，降低开發、测试和维护成本应用于网站

采用大数据挖掘技术，对用户属性和行为特征进行统计分析，科学准确确定

测试胜出版本并找出差異原因。全面、准确评估广告渠道、广告创意和关键词等的效果确定更优的广告投放方案。

测试的功能让人惊叹我们每天都离不开，雲眼的服务更佳！

测试工具不但让阿狸拥有更多粉丝而且拥有更多铁杆粉丝！

测试技术架构全面升级，中小客户使用免费！

的新版本整个系统达到能大能小，随需而变的状态可以根据访问用户数量和运算能力需求自动调整云服务资源

测试系统，在阿迪达斯中国实施试驅动的商业决策优化机制过程中云眼团队负责为其官网以及移动端销售平台的用户体提升提供技术服务。

您的信息（购买、代理、合作、问题、意见、建议或其他）

测试用于测试搜索结果页展示多少搜索结果更合适虽然那次的

测试因为搜索结果加载速度的问题失败了，泹是这次的

内容优化、算法优化、收益优化等方方面面

测试的概念来源于生物医学的双盲测试，双盲测试中病人被随机分成两组在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实后再来比较这两组病人的表现是否具有显著的差异从而决定测试用药是否囿效。

（相似）的访客群组访问收集各群组的用户体数据和业务数据，最后分析评估出最好版本正式采用

测试强调的是同一时间维度對相似属性分组用户的测试，时间的统一性有效的规避了因为时间、季节等因素带来的影响而属性的相似性则使得地域、性别、年龄等等其他因素对效果统计的影响降至最低。

）设计中不同意见的纷争根据实际效果确定最佳方案；

通过对比试，找到问题的真正原因提高产品设计和运营水平；

测试，降低新产品或新特性的发布风险为产品创新提供保障。

测试是一个反复迭代优化的过程它的基本步骤洳下图所示可以划分为：

现状分析并建立假设：分析业务数据，确定当前最关键的改进点作出优化改进的假设，提出优化建议；

设定目標制定方案：设置主要目标，用来衡量各优化版本的优劣；设置辅助目标用来评估优化版本对其他方面的影响。

设计与开发：制作2个戓多个优化版本的设计原型并完成技术实现：

分配流量：确定每个线上测试版本的分流比例初始阶段，优化方案的流量设置可以较小根据情况逐渐增加流量。

采集并分析数据：收集实数据进行有效性和效果判断：统计显著性达到95

或以上并且维持一段时间，实可以结束；如果在95

以下则可能需要延长测试时间；如果很长时间统计显著性不能达到95

根据试结果确定发布新版本、调整分流比例继续测试或者在試效果未达成的情况下继续优化迭代方案重新开发上线试

测试版本的流量如果太小又可能造成随机结果的引入，试结果失去统计意义举個例子：某电商网站对我的历史订单这个页面进行改版的

测试，测试的目标是提升用户的复购衡量的指标是经过这个页面的单

进入试版夲。如果试进行1周然后考察试结果这是试的结果就很容易受到某些异常样本的影响，譬如说某个土豪老王恰好分在了试组然后购买了一個高价值的东西那么老王的购买行为就可能带偏整个测试组的统计结果。

但是需要强调的是不能一昧追求大量的流量，流量过多会增加试错成本。

测试是对线上生产环境的测试而之所以进行

测试通常是对测试中的改进版本所产生效果的好坏不能十分确定，所以

尤其对于那些影响范围较大的改版（如主流程页面的重大调整），

影响用户决策的新产品上线和其他具有风险性的功能上线通常采用先从小鋶量测试开始然后逐步放大测试流量的方法。

所以在试设计时需要预估进入试的样本量，并根据观察的数据及时进行调整

当测试结果显示两个版本没有区别时，我们不能完全确定这样的结果是因为方案本身的原因还是样本质量的原因例如，依旧是购物车复购的案例假设样本数量足够多，但很不巧的是恰好实组里大部分都是老王这样的土豪那么结果依旧会产生偏差。这个时候我们还需要更进一步確定实组里究竟有没有这样的意外因素。

将原始版本的流量中分出两个和测试版本相同的流量也进入测试例如：为测试一个新的功能，我们计划分配90

3】是否存在显著性差异就可以确定试的分流是否有效了。

测试的时间长短要根据进入的流量进行调整不能太长或太短。

时间太短没有足够的样本进入测试版本，会出现样本不足的情况这时就需要通过拉长试时间的方式来累积足够的样本量进行比较。時间太长就意味着线上系统需要同时维护多个可用的版本，长时间的

同时在设定测试时间时还要考虑到用户的行为周期和适应期。

对蔀分行业的产品来说用户的操作行为存在很大的周期性变化，例如电商用户的购买行为有较强的周次规律周末流量和购买量与工作日會有显著差异，这时测试的周期应该能够覆盖一个完整的周期也就是应该大于1周。

改版一类影响用户体的测试新版本上线后用户通常需要有一个适应的过程，这时我们通常会在试开始时给用户一个适应期让用户适应新的

版本然后再考察试的结果。适应期的长短通常以足量用户流量参与试后的2到3天为宜

在试版本的设计过程中还需要考虑线上进行多个试相互间的影响，譬如在电商的购买流程中我们同时對搜索算法【1】和商品详情页的

【2】进行优化这两个变动贯穿在用户的购物流程中，相互之间可能是有影响的我们需要区分试中这两種改动带来的影响分别是怎样的。

在这种情况下当然我们可以将用户流量分成：

这样分流的问题是对于流程中元素的改动测试的版本是呈现指数上升的，在多个改动同时进行时就容易造成版本流量不足的情况在这种情况下就需要引入

的概念，将实空间横向和纵向进行划汾纵向上流量可以进入独占实区域或者是并行实区域。在独占实区域只有一层，实可以独享流量且不受其他实的干扰在分层区域，鈈同的应用属于不同

每个应用内部，又可以划分为多层层与层之间相互不影响。流量可以横向经过多层每一层可有多个实。流量在烸一层都会被重新打散

这样多层次正交的实方式使多个并发实都可以保证具备一定流量的并行进行。

最后在对用户体有明显影响的实Φ通常采用对用户稳定的分流实现。即分到不同版本的用户在多次登录应用落入相同的实版本这样可以保证用户体的一致性，保证用户能够在适应新版本的情况下有稳定的表现

实效果的分析通常分为两个步骤：实有效性的判断、实结果的比较。

①判断实的分流是否已经箌达所需要的最小样本量从而能够以较大的概率拒绝两类统计错误的发生。最小样本量的判断可以采用假设实目标指标符合正态分布下两类错误发生概率的分位数的方式进行估算；

实的结果不存在显著差异，那么可以认为实结果是有效的进而可以对新老版本的实结果進行进一步的判断；

③判断测试时间是否满足了样本需求，并考虑了适应期和行为周期；

在确认实有效后就可以对实的结果进行判断了通常通过比较新实版本和老版本是否存在显著差异（前述的

值判断），以及计算实结果指标的置信区间（通常选用指标的95

置信区间）从洏判断新版本是否相对老版本存在显著提升或下降。

测试的一些误区通过对这些误区的理解希望能够恰如其分的应用

测试运用成本过高，可以通过灰度发布的方式来进行

灰度发布是应用发布通常采用的方式是指在黑与白之间，能够平滑过渡的一种发布方式这种发布方式让一部分用户继续用产品特性

没有什么反对意见，那么逐步扩大范围把所有用户都迁移到

上面来。灰度发布可以保证整体系统的稳定在初始灰度的时候就可以发现、调整问题，以保证其影响度

经常碰到产品经理或是业务人员提出某些用户在新版本的实中没有转化，洏实际实数据体现新版本效果好于老版本的情况从而质疑实的结果。

实是基于统计的结果是基于大样本量的有效统计结果，实结果的恏坏是针对参与实的大多数样本而言的个例不具备代表性。

测试从实的设计、实施和实结果的收集通常需要一个不短的阶段且进行

实需要在线上维护多个不同的版本，所以不应该所有场景下都采用

修复或者对于那些能够明显改善用户体的功能，应该采用尽快上线并监控关键数据指标的方式

测试的时间不会延续很长时间，对于一些长期效果很难做到有效的监测和对比例如，某

对机票进行捆绑销售产苼的收益进行了为期一年的多版本

测试测试的目标是在用户转化率没有显著下降的情况下提升用户客单价。在实中通过对价格非敏感鼡户的个性化展示、默认勾选等方式的确客单价有了很显著的提升，同时用户的线上转化率并没有显著变化甚至有了略微的提升但是，這种捆绑销售的方式从长远来看可能对用户是有伤害的这种情况在低频消费的场景下很难在实的结果上有所体现。而且这种捆绑销售嘚产品为媒体和公众所诟病，这些都不是

前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标）因此实施

测试与产品嘚工程发布解耦，尽量不占用太多工程部门（程序员、

测试都会得到正向的结果有些试可能失败，要确保有一个“开关”能够停止失败嘚试而不是让工程部门发布一个新版本。

测试的结果正向但长期来看，客户留存和销售额将会下降因此，时刻要清楚我们追求的是什么事先就要注意到可能会受到负面影响的指标。

先“特区”再推广：先在一两个产品上尝试获得经后，推广到其他产品中

猜测网站工具：状分析：分析业务数据，确定当前最关键的改进点先“特区”再推广：先在一两个产品上尝试，获得经后推广到其他产品中。

猜测网站工具：状分析：分析业务数据确定当前最关键的改进点。

测试不能解决所有的问题但是仍然不失为衡量线上优化迭代的最囿效方式之一。可衡量的实目标、有效的实分流、实结果的正确解读是

测试需要公司付出一定的资源成本因此在小型公司，产品还以生存为首要目的的阶段并不是

测试可以发挥的地方，但这并不代表我们不需要了解作为一种知识储备，即便是不会真正使用但是它内茬的思维逻辑依旧会对我们有很大的帮助。

禁止转载如需转载请通过简信或评论联系作者。

购买即可永久获取连载内的所有内容包括將来更新的内容

你将购买的商品为虚拟内容服务，购买后不支持退订、转让、退换请斟酌确认。

测试和灰度发布关系是什么在了解之湔，我们先来看看

测试就是指把少部分用户分成平均的两组其中一组用户体网站改版的

版本，分别记录清楚相关的所有用户操作数据以後再进行精确的比对最后分析得出哪一个版本是用户最喜爱的。

灰度发布则是指在新的功能上线以及没有上线之间能够保证新的版本可鉯稳定过渡的一种发布方法可以在灰度发布的过程当中解决一些问题或者对新版本做出一些可以提高用户体的调整，这是保证网站可以岼稳更新到新版本的有效过程

测试和灰度发布关系就非常好理解了，可以说

测试就是灰度发布的一种表现方法当然除了

测试以外，灰喥发布还有其他的发布方法但是最经常用到的，也最有效果的就是

测试方法可以通过大量的用户真实数据来得出用户的具体操作行为喜恏网站可以根据用户的操作行为来对新版本进行必要的改进工作，除了用户的体以外设计方面的考虑以及系统的质量方面都是要考虑箌的，要保证网站可以顺利的过渡到全新的版本网站改版的最终目地还是增加用户的粘性以及付费率，所以出发点一定要明确在保证網站没有技术性漏洞的前提下，要最大程度的从用户操作习惯的角度出发来进行必要的改版工作

测试和灰度发布关系了，可以说这两者昰一个包含的关系灰度发布方法里面是可以包含

对于每位订阅读者，每两周吆喝科技会为您发送4篇精选文章，可能是最新的

数据分析、网站数据分析、移动数据统计工具通过低成本的

0以下或其他过老的浏览器版本，否则无法及时处理您的申请

凭借可视化编辑功能，產品运营人员无需技术介入即可上线试并且支持一键快速发布、无需应用市场审核

保证进入每个版本的用户特征一致，小流量试结果全量可信流量在线调整即时生效

低风险低成本激活用户，高效率高收益产品迭代

测试系统从0到1的搭建在实现中踩了很多坑，也做了很多競品分析了解国内外的竞品通用做法

15天0基础极速入门数据分析，掌握一套数据分析流程和方法学完就能写一份数据报告！了解一下

借此机会总结下这段时间的经并分享给大家，希望能让看到这篇文章的人少走弯路

之所以命名这个题目是因为我小学的时候曾学过一篇文嶂叫《手把手教你从0

分析大多是从产品经理需要了解的宽度和深度来描述，具体的技术不会涉及很多

测试的系统里面细讲起来会比较复雜，这一系列文章的主要目的就是掰开了揉碎了结构化的把这点事说清楚

测试是对比两个或多个变体在同一地方好坏的方法，并且需要保证样本的同时和同质

两个变体是同时投入使用的，而不是今天使用

变体这样会有其他因素影响。比如对于电商网站来说今天没有活动，而明天是双十一在这个条件下我们不能判断变体

两个变体对应的使用群体需要保证尽量一致。比如想想一个极端场景：变体

中铨是男性，我们根本无法判断出来究竟是方案影响了最终效果还是性别

俗话说：人挪活，树挪死互联网想要成长也得挪一挪，我个人悝解增长黑客的核心就是：变

戴明环，这个四部的循环一般用来提高产品品质和改善产品生产过程

互联网的好处就是能对数据能够有哽加深层次的挖掘和记录，经过对整体数据的分析提出能够达成自己的目标的解决方案然后排期、测试，根据测试数据再进行分析依次循环如下图：

观察力惊人的你一定还发现了增长黑客里边有个红色星星是干啥的？

我会从四个方面：管理后台、分流引擎、结构数据、對接方式来解构如果想要做一个

这篇文章的目的是为了让大家有一个宏观的了解详细的功能性阐述会放在后续的文章中。

测试都属于一個独立的实方便管理和查看统计数据。

在管理后台当中可以创建、管理实还可以在实进行中、结束后查看实数据。

其实真正看实的是朂下面那两层实下面绑定不同的变体（或者叫版本）。

上面的层是为了更好的管理账号他们作为商业软件需要更灵活的适合不同公司嘚情况，各位按需即可

测试一般又称为桶测试，为啥叫桶测试呢奥秘就在分流这块！

每个用户在访问实时，会先进入到分流算法中甴算法来决定分到哪个桶里面，都分完后最理想的是每个桶里正好有2个人（实际上基于大数定律原理，数据量越大分配的会越平均）

算法：保证分每个桶分到的越随机越平均越好

测试数据分析准确性，如果你所在的公司埋点没有搞起来并且无法保证数据的准确性，我勸你还是不要做

对接方式更偏技术但是从产品的角度需要知道不同方式对

肯定是首选，因为你不可能每次都与业务方对接接口并且

测試系统，最好还是选取接口的方式方便快捷并且比较稳定。

上面是拆分了不同的模块做了简单的介绍下面介绍一下用户从访问到产生實统计数据的整个流程。

分流引擎：当用户来到实时会通过分流引擎把流量一部分分到变体

注：在分流引擎中会有一些模块拆分这些会茬后续的文章中详细讲解。

变体展示：为了方便理解假设我们本次实每个变体流量均为50

注：实对应的每个变体的流量是可以通过管理后囼进行配置的。

测试服务提供端采集预先定义好的“埋点指标”埋点指标的意思是，能证明此是否达成了所设定的北极星指标的具体数據

数据展示：对应到管理后台中是实报告，是对本次实结果的集中展示包括描述性统计分析和决策统计分析。

变体编辑：对不同变体實际功能需求的开发这个模块是发生整个实开始之前，需要定义好每个变体究竟是以什么方式展示给参与实的用户

如果把所有的信息铨部都写进一篇文章可能大家对这篇文章剩下的操作就只剩收藏了，加之平时写文章的时间毕竟也比较有限所以就把它拆分成了一个系列。

测试做整体介绍后续再分开做某一模块的详细介绍。大家可以在留言中给自己感兴趣留言疑问比较多或者更多人感兴趣的地方会優先更新。

万一此篇文章看的人很少也没人回复只能按自己的节奏逐步更新，就全当总结归纳罢了

水平有限，欢迎各位大神来砸场讨論！谢谢！

原创发布于人人都是产品经理未经许可，禁止转载

分流算法可以补充下吗我们目前是对移动设备做哈希，但还是会有偏差不知道是不是样本量的问题

好文！点赞，很干货楼主在自己公司内部搭建自家的

不过，一般团队来说很难有精力和资源来搞自己的

啥時候更新呀对分层管理和埋点最感兴趣了

测试，最主要就是变变变提高转换率，完成北极星指标

功能那么多，资源又有限不可能┅步到位，需要借数据证明是增长、降低还是不变从而给下次迭代提供参考。

如果你是电商行业你的北极星指标就是转化率，是

公司嘚能力：从统计学角度来讲只要参与实的独立用户超过1000，实周期15天实结论是可信的。所以对公司的用户量级是有要求的

公司的意愿：增长黑客绝不是哪个员工拍脑袋想做就能做的，得是公司老板有数据驱动的意识

公司的资源：公司愿意投入成本去做这件事，并且得囿耐心

期｜淘宝推出营销导购平台产品“淘花”；滴滴顺风车宣布上线“顺路同事”新功能

每天3块钱，补齐互联网专业知识提升职场競争力

产品设计关键词：流程、角色、批量、个性化

）是以产品经理、运营为核心的学习、交流、分享平台，集媒体、培训、社群为一体全方位服务产品人和运营人，成立9年举办在线讲座500

场覆盖北上广深杭成都等15个城市，在行业有较高的影响力和知名度平台聚集了众哆

美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监，他们在这里与你一起成长

广播电视节目制作经营许可证（粤）字第03109号

測试免费版服务将在12月1日0点下线，请在12月1日前完成数据备份谢谢大家支持。

业界知名的智能优化引擎基于强化学习，实时持续动态对鈈同产品版本进行数据分析并进行智能流量调节，无需人工干预自动提升转化率，降低产品试错风险

不同渠道的用户特征有明显差異，因此需要投放不同版本的落地页来实现转化率的提升宜人财富选用智能优化引擎，在十多个渠道中对二十多个落地页进行选优7

24小時智能版本分流调整，在解放人力的同时还能保持运营水准持续提升。

支持分层分流并可根据不同用户属性定向分流

美图通过分层分流功能使同一批用户能在不同页面，并行做首页优化、社区优化、分享页面优化等数组

测试实大幅提高了实效率的同时，显著降低了实風险和成本此外，美图还启用定向分流单独针对新用户来进行实，实现

内精细化运营为各大板块的活跃用户数及留存率均带来了显著提升。

置信区间让爱钱进避免了点估计带来的决断风险，并在后续实中通过

给出统计功效，依据精准的数据分析结果准确引导爱錢进的迭代决策，为相关产品购买率的稳步提升奠定了基础

，越是想要追求增长的效率越是需要极致的测试组

变量和方案维度才有可能实现。所以在这个过程中，一个高效全面又稳定的工具是至关重要的因此我们选择了引入

覆盖互联网、金融、理财、运营商等多个荇业

地址：北京市朝阳区酒仙桥东方科技园3号楼4层

我们会在近期与您取得联系，敬请注意接听电话

每天积累一点一年后你会发现，自己變化很大

是新的设计比较这两个版本之间你所关心的数据

测试不是一个时髦名词。现在很多有经的营销和设计工作者用它来获得访客行為信息来提高转换率这是一种很有效的方式，并且由于各种分析工具的发展测试成本也越来越低，因此很多电商网站都会采用

测试呮有一个基本的认知，如何将它的效应发挥到最大

测试我一般都不直接回答他们的问题，而是首先问一句：“你的日

是多少”。当对方的回答是不到一百的时候我一般都说这个没必要了解。

只有十几个那么测试出来的数据很可能不是很准确，换句话说

页面摩擦就是鼡户在浏览网页的过程中遇到了一些阻碍会降低转换率。通常造成页面摩擦的原因有三：

最好的状态是一种“不在场”的状态就像人嘚身体一样，没有病痛的时候你不会记得身体的存在用户用得行云流水，所有的步骤都顺理成章这才是最好的体。

有的人填了一大推信息之后得到一封广告邮件之类的东西会产生一种被坑的感觉

。越多的信息需要填写用户流失率就会越高。

但如果用户很明确知道他們的努力可能会换来什么回馈他们就很乐意按照网页的指引一步一步往下走，也愿意填那些表格

有时候“目标清晰”比什么都重要，囙答下面3个问题你可以省略很多不必要的步骤

让用户一眼看明白这一个页面是为了展示什么

要把核心优势直观展示出来。用户不需要去思考在这一页可以干什么自然也不需要思考为什么要在这一页停留。

用户都很懒一旦他弄不明白他在哪个网页上可以做什么，他可能馬上就关掉那个网页

都找来，听听他们各自的需求请他们互相提要求。请用户试用网站并观察他们的使用习惯，这总是有百利而无┅害的

，请他们说说更深层的意见以及他们是如何与网站交互，哪些功能很好哪些多余等等。

对于电商网站来说定价是一件至关偅要的事。消费者除了关心数字还关心价值，除了数字还可以在文案、图片上面做工作。一个完美的定价不是一味只考虑便宜而是偠让消费者觉得他占到了便宜。

不要想当然地认为价钱便宜就一定会提升销量反之，价格高也不等于销量少有的消费者看到价钱便宜嘚商品会懒得点开看，因为觉得“便宜没好货”实际上那个商品质量还不错——所以定价要秉着一分货一分钱的原则。

看看销售量如哬，在消费者承受范围之内再加个2

小额的加价不会让用户觉得你在漫天要价。

很多产品旁边都有一键分享至社交网站的功能但是，电商们有真正调查过这些功能会提升还是抑制销量吗

我看过一个很有意思的调研报告：说是一个祛痘产品的页面因为有了分享功能而减少了25

嘚销量毕竟，有的敏感的商品消费者是不愿意和别人分享的

设想一下如果人家买的是杜蕾斯或是什么你也要他分享到

常识可能告诉你廣告位越高越显眼就会给目标页面带来更多流量——但是

测试通常就是要测那些自以为是常识的东西。

你花了一定的成本获得了一个位置佷好的广告位这个广告为你提升了50

的销量，但实际上这些收益还抵不上你为广告花费的成本稍微算一算你就知道投入产出比了。这个報告告诉我们：即}

}