Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
Hello 大家好
欢迎回到课代表力振
我是你们的课代表志祺
我们是课代表聊数据的
用数据找Project Market Fit的第二期
Retention 留存
留存这个事很神奇
你如果是一个数据科学家的话
做产品的数据科学家
你一定会知道留存这件事
而且你知道用各种角度去看留存
你对你自己产品的留存和对你竞品的留存
不管是1日37日还是365日
你可能都如数加真
但是这个东西在学校里又不教
如此重要的一件事情在学校里不教
然后好像也没有什么专门的培训
比如说我去Facebook
所有人都把留存挂在嘴上
但是好像就没有什么人
就是在这个培训的时候
会教我们说要看留存
我这期视频就试图把留存
这个看似简单的东西给聊清楚
因为它其实看似简单
其实你真正的去看的话
有挺大学问的
首先先说一下留存是什么
留存就是你用你产品的人
有百分之多少的人
在一段时间之后会继续使用的产品
比如说我现在是做美团吧
然后我说我新下载的用户里边
今天新下载了1万人
我可能看一下30天之后
他发现还有2000人在继续使用它
我就说我的留存是20%
其实刚才那句话有很多陷阱的
就是一个有经验的数据科学家
他听了这句话
他觉得你这句话其实是没有讲清楚的
如果你没有觉得有问题的话
没有关系
听完这个视频你就会明白了
我们现在先讲一下
我们这个视频会cover哪些部分吧
我们会cover留存的三个定义
第一个就是你的人
我们刚刚说留存其实是个百分比
对吧
你的分母是一群使用你的人
然后分子是一群回来的人
这个人他的定义就有很多讲究
比如说你可以看你用的所有的用户
但是你同时你也可以去看
比如说年龄
比如说income
但是更重要的
其实是你的这群人是怎么来的
是来自于不同的渠道
或者说是不同的方法来的
它是因为运营活动来的
是因为你花钱买来的
还是因为它自然下载来的
它其实会有一个特别大的不同
如何选取看不同的人
是一个很大的讲究
第二就是时间
比如说我刚刚说的美团那件事情
就是20%的人在一个月之后还使用
对吧
但是在20%的人在一个月之后
还每天使用
还是每周使用
还是每个月使用
这就有很大的讲究了
以及我为什么要看一个月之后
我为什么不看七天之后
我为什么不看一年之后
所以说就是在多长时间之后
然后以一个什么样的频率去使用
这个东西也是很有讲究的
不同的生意形态
他应该选取的比较好的时间是不一样的
第三段就是行为的定义
比如说我刚才其实隐含的定义是什么
就是我的分母是下载这个行为
然后我的分词是打开APP这个行为
但是其实可能你作为一个
好的数据科学家
你觉得打开APP不代表什么东西
比如说我作为美团
我想增加我的留存
如果我的留存是定义在打开APP上
我可能APP上发点笑话的话
大家每天就会打开
但是这和我的核心价值是没有关的
所以说我应该把它定义成为
每天回来并且完成一笔订单
然后付了款
这才叫回来
如果是这样子的定义的话
它就跟你这个APP要做什么高度相关了
你就是一个更好的定义了
但是你会看到这个数字
也就会有很大的变化
这就是定义带来的差别
所以说人群时间和定义
这三个都是对这个retention指标本身
一些比较讲究的选择
接下来还有三种看留存的方式
第一个就是简单的百分比
就是我有百分之百多少的用户回来了
这个百分比可以用来跟我自己比
跟我的竞评比
也可以拿来用来算一些数
比如说做补贴的时候可以用来算一些数
这个我一会稍稍再展开讲
第二个就是大家传说中的微笑曲线
就是你的纵轴是你的retention的百分比
然后你的横轴是时间
你看这群人
他的这个随着时间
他的retention是降低了
还是平的
还是往上走了
当然他的这个
就是他比如说是10%的retention
和50%的retention也会差很多
那就是刚刚第一个定义里面
需要讲到的东西
但是这就会告诉你这产品的长期情况
如果说你的这个是往下走的话
说明你的产品
你的用户还是会流失的
而且可能如果你
一个很快的方式流失的话
你的产品是做不起来的
你花再多的钱
去做了再多的增长
你不断的用户都会流失
那你最后其实
这些增长的钱都是浪费的
如果你的这个曲线是平着的话
说明ok你的产品期盘稳定
如果你的这个曲线是往上走的
这就是大家传说中的微笑曲线
那又说明你的产品进入了一个非常好的状态
就是他一般是一个高速成长的公司
才会有微笑曲线
我们第一个定义里边的人群也很重要
如果你的微笑曲线是买
也是可以买出来的
你可以靠做补贴
把微笑曲线给做上去
所以说这个时候你一定要留下一些
不靠补贴的用户
然后去看这些不靠补贴的用户
真正在使用产品的时候
他们的retention是什么样子
这个是retention curve
这第三个就是更复杂的一点了
就是triangle chart
也有人叫金色塔chart
它是一个倒三角
倒三角它是不同的cell
不同的格子
然后有行有列
然后它每一个行列的格子都是一个百分比
都是这个行列所对应的这些用户的百分比
它的这个行是你用户的cohort
它是哪一天加入的
比如说我是1月1号加入的
然后1月8号加入的
然后1月15号加入的
看看这样子
纵向我加入了
比如说一天有的时候是按天
有的时候按周
我们就说按周
我就是说它在第0个周
就是1月1号到1月
如果是1月1号加入的这些人
就是1月1号到1月8号之间
它的retention是什么样子的
第二个格子就是012345
它的第1个周
那就是8号到15号
2就是15号到22号
对吧
第二行它是8号加入的
它的0就对应8号到15号
1就对应15到22
所以大家会看到你的对角线
是一个时间的
对角线都代表
比如说你track一段时间
你的最远处的对角线
就代表我们现在的这些所有用户
它在当下的retention是什么样子的
但是你可以拆分成不同的cohort
你也可以看到它们不同的cohort
在同一时期
就是加入这个APP3周以后
大家的retention是什么样子的
然后加入这个APP10周以后的retention
大概是什么样子的
然后大家一般会在这个画面上
再加一层visualization
会用颜色的深浅
去代表你的retention的高低
所以说有的时候这个东西也叫热力图
就是一种热力图
retention一般是越高的话越热
然后retention越低的话越冷
这个时候我们其实就可以把这个数字
看三种方式去看
如果你横着看
就代表这个cohort
它在每段时期它的retention怎么样
如果你竖着看
比如说你就可以看到
不管你是哪个cohort
你加入这个APP4个周以后
你的retention是什么样子的
经常做subscription的APP
它就要看这个数的
比如说我的免费
我免费一个月
我可能我会发现绝大多数的用户
在第四个周就会掉了很多
因为我这个时候不免费了
他们就不回来使用了
剩下的就是付费的subscription
付费用户的retention
在这就可以非常明显的看出来
在第四周会有一个巨大的变化
如果你看你的对角线
你就会发现一般是一个产品的feature
或者产品的改变而改变的
因为所有的对角线都是在同一个时间点
比如说你现在产品有一个大版本
然后你就会发现所有人的retention
都提高了或者说降低了
然后就会有一个这样的
在对角线上面的变化
这是看它的方式
刚才就是retention的三大定义
和三大呈现方式
相信大家听完了以后
就对retention这件事情
有一个很全面的了解了
我接下来再细节上去讲一讲
你一个数据科学家在做这个时候
的时候有一些什么具体的选择
可以帮助你做得更好
或者说从中看到更多的东西来
先从定义开始讲
第一个定义的原则
就是你在选定义的时候
你在选怎么样子去拆分
不同的人群的时候
尽量要去选那些你能控制的
或者说你能影响的人群
在此之前还有就是
你的retention
你应该把分模有多大pull out出来
retention是一个百分比
对吧
但是如果说你在一个很小的人群上
得到了很多的retention
那其实是没有意义的
你应该在一个很大的人群上
得到一个很大的retention
这样才是有意义的
所以说你在做第一个的时候
比如说我会把人群
按照它的来源分
就是我们是在Google上买的
然后Instagram上买的
然后它通过我们的这个page
自己来的
通过这个email来的
通过refer来的
然后你就会看
人群中用bar chart去看它的这个
百分比是多少
或者说人数是多少
绝对人数是多少
然后接下来再去pull out
他们相对应的retention是什么
然后你就可能会发现
email refer的这些人
来的人群虽然不太多
但是它的retention非常高
那我们有没有办法
把这个email refer的形式给提升上去呢
那更重要的一点就是
在很多做gross上
你就要看它是我买来的
还是不是我买来的
甚至你可以
比如说我会发现
email里边如果我说
就直接refer你的friend
那它的retention是
那refer过来的这些用户的retention
是什么样子的
那如果我说refer你的朋友
然后注册成功以后
每个人给10块钱
那这个时候你的refer来的这些朋友
它的retention是什么样子的
如果你发现
用花钱refer过来的用户
它的retention没有比
你不花钱的用户的retention低很多
就是你花钱买来的人
和你不花钱买来的人质量是差不多的
那说明你这个钱花的还是比较有效果的
这个你做产品的人就该到这句话
就是一般花钱买来的用户都是更差的
如果你花钱买来的用户还不错
那说明你花钱这个钱花到位了
如果像Google play那样的傻逼
补贴
那买来的人肯定retention超差
我就说他们根本就没有想清楚这件事
如果他去看一下当时
他如果做一个trail run
然后去看20块钱买回来的人的retention
是什么样子的
肯定就是洗奶
就是这个东西就不该存在
他肯定当时是把organic retention
和花钱买来的retention毁为一谈了
如果大家不知道这个context是什么的话
我有一期节目
当时是去吐槽Google pay的补贴
总之就是
大家就是稍稍get到我的意思
如果说有细节的问题的话
可以问我再多讲一些
就是你要去拆废你的人群
你要去看你人群的绝对数量是什么
然后你要看你拆废的人群里面的retention
是怎么样子
很多时候经常可以立你一个优化的方式
包括他会告诉你一些线索
比如说你来自一个渠道的人的retention特别差
是不是你在这上面头放的找的人群就不对
或者说有一些流量作弊的情况
也是有可能的
这是定义哪里需要注意的地方
在时间上需要注意的地方
就是你两个时间的选取
都是有一个art的成分在里边
你的产品你首先要去了解你的用户
这个用户一个好用户
他应该是
或者说你理想中的用户
他应该是在多长时间内使用一下你的APP
比如说游戏他应该是每天都来玩
比如说一个像亚马逊这样的全品类电商
他可能是每周你应该来看一次
并且买一个东西
你像单品类的电商
比如说你是卖眼镜的
或者是卖家具的
可能你是一个月一个quarter
甚至一年都是有可能的
你可能看retention的角度不一样
你去定义retention的角度也不一样
比如说我是一个quarter
才能卖出去一次家具的人
但是我发现如果说我让用户经常来看我的网站
用户就会下更多的订单的话
有的时候你可能也要去看
engagement retention
而不只是transaction的retention
这是第三步了
起码第二步讲完了
第二个定义状
你就应该去根据你的ideal用户的行为
去定义你去观测的时长
retention他这句话的定义
永远是带着两个时间的
就是我们说七日留存
其实我们背后的话是我们看日火
我们是看了七天以后的日火
我们当然也可以看比如说14天以后的周火
就是说我们去看这些用户
100个用户
然后14天之后
他们在过去七天内有没有上过线
14天之后的过去七天内有没有上过线
你也可以看14天之后的过去
过去三天内有没有上过线
或者你也可以看
30天之后的过去七天内有没有上过线
所以说一个好的定义是一个时间加上
你对他的活跃的时间的定义
有这两个时间的综合
你就应该根据上面的这个
比如说你去看日火
周火还是月火
你就要去看用户
你应该期待他是每日每周
还是每个月去使用你的APP
当然了日火、周火和月火
一般都是高相关的
就是你的月火又高
你的日火肯定也会高
如果你的日火下降了
一般也会导致你的月火下降
于是大家在为了更快的得到这个signal的时候
经常会选择日火
就哪怕你的用户是一周来一次
但是因为你有很多个用户
就是你的这个
如果每个用户都是七天来
但是你平均的话
你每天还是会看到七分之一的用户
在使用你的APP
所以说你的日火的变化
也能更好地告诉你
周火的情况
很多时候选择周火
是因为这个APP
可能它的这个
weekday effects特别强
就是你周一可能大家都不使用
直到了周日才使用
这个时候你一般会看周火
第三个就是这个action
其实更讲究的一件事情
因为什么呢
就是你的这个action定义的越往下
越接近你的这个完成
那它就会越精准
越好地去
观测到你APP所有可以被优化的点
比如说我刚举的美团完成一笔订单
那不光你要让用户回来
使用你的APP去浏览商家
你还要让商家
你要让他能找到合适的人
然后你还要在商家
在这个去suffill的时候不出错
你还要在收钱的时候不出错
其实这对于美团这么一个成熟的APP
当然是这四步都成立了
但是对于一个新的APP的话
其实未必每一个都可以做得很好
或者说它的体验都没有做得很好
有的时候你要先优化大家的购物体验
或者说你要先优化大家能找到订单
那这个时候你会选择把这个行为
从最末端
从完成一笔交易
往前移一个
可能是下一单
是吧
有多少用户下了一单
如果说你可能更早期的话
你只是想看一下有多少用户
愿意打开你的APP
可能你就会把它移到更早
但是总之就是越往上
你能得到的用户数越多
然后你能更确定是你一开始的那个
用户来看你APP的行为
但是越往后
越能代表你APP的真实的
或者说你是这个产品的真实价值
我会尽量倾向于往后
就是在这个曲折中
我会尽量倾向于往后
当然你也要知道为什么
这中间会有这么多的曲折
在每一步你都可以用来定义你的这个action
同时分母的选择也是很有讲究的
对吧
那你就跟你的这个买量
或者说是你的growth的这个是息息相关的
一般你的这个做增长
增长来的用户
要定义在你的retention的分母这一步
什么意思呢
就是说
我如果说我的retention的分母
是有多少人下载
那我就要想方设法的多去买来下载这个APP的用户
或者说多去增长
要这个用来下载的用户
如果说我的这个分母定义在完成手单的用户
那我去这个做增长的时候
我应该去多关注
我要多找到这些能完成手单的用户
然后这里边也是
就是越往后一般代表你的这个就越诚实
或者说是越体现你自己APP的这个价值吧
但是仍然这里边是有一些取舍的
这就不再多展开了
总之大家都知道是可以分子和分母
都是可以从这个产品的这个实用的这个漏斗里边
从下往上去定义的
以上就是这个定义展开的几种方式
刚才说的这个呈现方式展开的
第一个大家都很简单了
就是一个简单的百分比
你可以用来你这个时候知道你竞品的百分比大概是多少
尤其是知道你广义竞品的百分比是多少
很重要的
比如说你是做一个休闲游戏
那你的这个竞品一方面是休闲游戏
另外一方面可能是所有游戏
再另外一方面可能是休闲APP
就是你跟Netflix可能是一个竞争对手对吧
你跟抖音可能是一个竞争对手
你知道大家的这个情况就很重要
为什么呢
为什么很重要呢
尤其你是一个创业公司的话
VC会问这个的
然后VC有的时候也会把你们放到同一个赛道去比较的
他们会VC会问
就是会希望你在同一个赛道上比别人的留存做的好
所以说你知道这个了以后
你也知道了
你比起你的竞争对手来说
你的吸引力是不是更高
那还有一个就是你这个百分比是可以帮你用来算
你如果说去做增长
尤其是花钱做增长的话值不值
因为你一个用户的这个来是有成本的对吧
然后你是可以通过这个留存率
算出来他的lifetime value的
就是有百分之多少的用户是留下来的
我花一万块钱买了一百个用户
那最后如果只有两个用户留下来
和最后有20个用户留下来
那你对应的这个一万块钱的ROI是天差地别的
对吧
差了十倍
Google Play就是没算这个东西
但是这个东西大家都应该算一下
就是哪怕你在产品的很早期的时候
你不知道一个活用户对应的是多少钱
那你也起码应该知道你的这个retention
是你organic的retention是什么样子
你花钱买来的用户和你这个organic的用户的retention的差别又是什么样子
如果你的自然用户自然用户是20%
然后你买来的用户的retention是2%的话
你就别买了
对吧
你应该去想想你怎么样子把钱花的更有效率一点
那紧密相关的就是刚才那个微笑曲线
我不是在这个微笑曲线里面提到一个
就是说你是可以靠花钱把这个微笑曲线给买上去的吗
就是因为这个微笑曲线
大家想象一下
刚才说的是一个曲线是吧
是一条线
但是它里面的每一个点
你如果想象它是一个柱状图
就是它其实是这些人在这个时间点的这个retention
比如说它是15%
这里边如果说你不花钱
可能他的用户
这15%的用户里面有8%的人会留下来
会继续使用
这是因为你的产品
然后你补贴了
然后剩下的7%是羊毛党
它为了你的补贴来用的
如果你没有补贴的话
它又不来了
所以说可能一开始它是8%
然后你开始补贴
然后发现10% 15% 20%
然后你羊毛党越来越多
可能大家发现这个东西就好好卤
那你把它做到50%
这个东西不代表你的产品好的是吧
如果你看那些不靠补贴的用户的话
那还是8% 6% 2%
你的产品要死了
所以说你一定要在做产品的时候
把补贴的用户和不补贴的用户分开
一定要有一些用户
你要知道他们就是因为你的产品做得好而来的
你如果只看微笑曲线
然后你是花钱买了微笑曲线
你的产品就是一个死
到最后你的organic retention往下降
产品就是死
我就不举例子了
太多这样的产品是这样做死的
就是一切看起来都很好
最后其实是做不起来
因为你产品做得起来
靠补贴把用户给挖过来了
就是微笑曲线之间出现
第三个穿一个chart
我觉得刚才说的就挺清楚的
挺多的
而且挺复杂的
大家就在使用中去体会就好了
以上就是我对留存retention的一些初步的介绍
希望对没有了解过这个concept
或者你了解了以后了解的不够全面的同学
有一些帮助
我当然说的也肯定不全面
或者说的很片面
甚至说的是错的
希望大家在留言区里边跟我讨论
谢谢大家
我们下期再见