Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
我先做一下自我介绍,谢谢职场俱乐部的邀请
我是来美国读本科,读的是经济和数学的专业
读完以后就直接去康纳尔读经济了
我的concentration是copy finance
所以也有很多金融方面的知识
但是之后做的事情跟我读的经济其实没有特别大的关系
一开始去一个Boston Consulting Group
一个management consulting这样的公司实习了一下
接下来去亚马逊做经济学家
亚马逊经济学家干的主要的事情
其实就是把一些经济学,这样经济学的这种
叫causal impact model
用到平时的工作中去看各种policy
有什么样的因果关系,到底造成了什么效果
很多公司这个事情是用ABC testing来做的
但是在亚马逊因为它是在seller level
你对这个customer或者在seller level是没有办法
因为法律原因是没有办法做实验的
你就只能靠这种计量经济学的模型去进行归因
另外一方面就是亚马逊还有很多定价或者做预测
比如说你这个kindle应该卖多少钱
或者说你这个AWX的server
到底需要上几个server
你的cost center要招多少个人
这些也有一些经济学的模型可以用
所以说亚马逊经济学家一般是干这个的
之后我跳到facebook做data scientist
我在的这个部门叫core account
是facebook里面所有你在facebook买东西
如果在facebook checkout的话
就是在facebook这个APP里面
你买东西checkout的话就是归core account
主要是market place里面
如果大家用过market place的话
主要是在这里面有很多这个transaction
我就是负责这部分
在我的正常的工作之外
我还干了一些乱七八糟的事情
如果大家是下图的话就知道有动林村
动林村现在有一些外卖网站
帮他们打个广告
就是e-doumingchun.com
你去这个网站的话
这个网站就是我帮他们做的
一开始是做这个东西
这个东西怎么开始的呢
他们是去亚马逊的楼下去送盒饭
然后我发现他们是用jot form
还是google form去收集订单
再用vmall去转账
我就说我给你做个网站
你这样在网站上就可以收信用卡了
你也不担心大家去取消
也不用天天花人去看你的订单
你这个网站大家点起来也比较方便
于是做了这么一个东西
疫情来了以后他们没有盒饭了
但是他们也没有汤吃了
于是就把这个网站做成他们自己的外卖网站
我还有一个专门的视频
讲了一下为什么餐馆
其实挺需要这种自己的网站的
简而言之
你uberse这些有两个问题
或者超败
翻转这些
第一个就是它的价格
uberse和超败都会take a cut
像uberse会take30%
然后就是从餐馆那拿30%
一般还会在收customer15%的service fee
15%的debate fee
然后再加上绿小费
所以你东西本身很贵
然后餐馆赚的钱还少
另外一方面就是它的所有的流量
或者说用户都是这个APP这个平台控制的
所以说今天promote这个餐馆明天promote那个餐馆
那你这个对餐厅来说就很受
就是你的用户抓在别人手里
所以说对他们来说他们是愿意自己做一个这样的网站的
而且他们有一个模式就是你提前下单
要跟送
这样反而他送的会比较及时
因为他一下子是一个去一个司机送好几个
比起那个现潮的on demand这种做法
反而有的时候送的更准时一点
当然你要提前订可是送的更准时
而且他送的成本也低
所以说你在UVE东京车上点东京车的话
基本上是就是好像应该我记得是5块钱的delivery fee
但是你点个60块钱就免费了
他们可以把这个规模向你做上去
但是你如果在uberse上或者其他东西点
你会发现很多餐馆在uberse上定价本身就是更贵的
再加上那些搬家的费用的话其实是非常贵的一笔费用
下面这个东西是college grocery
我这一堆乱七八糟的照片
当时在学校做的college grocery
是把纽约的一个超市的吃的送到康奈尔
一周送一次
当时是一个SUV开到停车场
然后是打包好的一大堆东西
然后我们再把它分减成一小个的订单
再给他送到学生一个一个人家里去
然后把纽约对那个厨师给送过来
那个肉夹馍啊杨文创啊什么的
就买售欢迎的一个东西
但是也不是盈利的一种情况
就是大家坐着玩然后那个
就是
就凑个热闹嘛
但是从这过程中确实也学到了一些
很多东西
就是所谓的product sense
你到底顾客想要的是什么
就比如说我们去画这些这个宣传图
你看到就是上面有这个图要勾起大家的食欲
你要把网站域名给放上去
我还专门去买了这个域名
就是找人去谈谈把这个域名买下来
因为你没有一个好的域名的话
大家是不记得你的
然后你要把这个
就product你要售出来
然后你要把流程给写出来
你要有这个二维码
然后你最后还有一个可以撕下来的东西
大家拿回家这样的话可以买
就是总之就是做了这些东西
你才会慢慢develop一些business sense
我觉得还是挺有帮助的
另外是当时在纽约还开了一个那个帮帮的人
开一个拉面店日本拉面店
就是当时在曼哈顿的那个韩国城
下面开了一个小店
后来这个店开成了三个分店
不过疫情来了以后这个生意也是大受打击
所以比较像你一样
这些都是乱七八糟的东西
那今天就是回到主题了
这个我们讲数据科学
我一开始想分享的东西
是数据科学其实是一个大框
因为我们现在这些企业很多东西
都是跟数据相关的
那这个数据其实从这个数据的产生
到它最后影响决策或者说产生这个效果
来说我觉得大概有四个阶段
那很多公司其实在科技企业会分的清楚一点
但是在很多企业你做excel的
也叫自己是数据科学家
你做这个pipe plan的也叫数据科学家
有的时候做后端SE什么的也是数据科学家
你做multimodels也是数据科学家
那我们就在这稍稍把这个东西给理清楚一点
就给大家提供一个理解这个事情的框架
就是数据科学的四个阶段
或者说数据的四个阶段
就是记录处理分析和决策自动化
其实我觉得是这三个
但是决策自动化为什么把它单独拎出来说
因为最近machine learning scientist
拿赚的钱是最多的
所以说这个主要是跟machine learning scientist有关的
那我就把它拎出来单独说
记录
就是你想象一个你去网站采访
你去浏览一个网站
你的浏览行为被记录下来了
如果说一个传统企业的话
你可能拿车行做比方吧
那你这个车谁来了卖出去多少
你逛一个超市
谁去逛超市买了什么东西
你的物品的位置摆放什么的
这些其实数据都是可以记录下来
那在这就说到为什么数据科学
在传统行业和互联网行业比起来的话
互联网行业很明显数据的岗位更多
就是因为互联网企业它记录数据更容易
它你绝大多数事情都是发生在本身就是数字化的
数字化的东西你记录起来就容易
那你有更多的数据可以分析
但是线下的这些企业
我一会到后面我讲到传统行业的话
我再说一下
就是很多东西你是记录不了的
然后你记录下来和你想象的
你记录下来的东西完全不是一回事
那这样的时候科学就没有什么用之地了
所以说记录这方面是非常重要的
在这儿比如说在互联网企业
绝大多数时候反而是SDE的工作
反而是程序员的工作
你要把这个东西login做好
然后你要把它存到什么样的Taggle里面
会有后端工程师说
我们把这个东西怎么样子给拿出来
在这儿可能就是后端工程师和Data Engineer工作了
你要把这个数据存起来
有的时候会存很大
有的时候你要求它的数据
你要调用速度要求很快
所以说你什么时候用数据糊
什么时候用一个比较实时的Taggle
你平时数据的吞吐量是什么样子的
你怎么搭Papeline
怎么样子去把它清洗起来
这都是有很多优化的空间
所以说这儿主要是SDE
或者说是Data Engineer去做的事情
接下来分析主要是数据科学做的事情了
就是你拿到一张数据
拿到一个表
拿到一个各种各样的数据
你怎么样子去产生价值
不到后面我会展开去说
到底怎么样子把数据产生价值
但是数据科学总之就是
把这个数据拿到你面前
然后产生价值的过程
最后的决策自动化
就是你可能就有一堆数据
然后最后你通过这个数据得到了一个结果
比如说你看到一张猫的照片
然后这是一个猫
这是一狗的照片
这是一个狗
你把这个决策过程自动化的话
那就是一般模式上现在干的事情
猫狗可能没有什么特别大的价值
但是比如说这个东西是假货
我看到这个东西
它有现在各种各样的Feature
然后它是假货
那这个东西不是假货
我拿出来了一万个假货和不是假货的这种Data
然后我放到模型里去Train一下
之后这个模型我拿到一个新的东西
它就告诉我这个东西是假货
还是不是假货
这个模型本身就是非常有价值的一个模型
因为它可以帮助人自动化的去做很多决策
甚至比人的决策做得还要好
质量还要高
那这就是决策自动化
和Machine Learning在现在应用很广泛的一个基础
那我们把它这个数据科学
放到一个小一点的经济上
就是分析这一块
数据科学这个东西你拆开的话
就是数据最后能产生价值
那中间是通过你的各种科学分析去产生价值
对吧
科学是你分析的一个过程
那分析我把它分成了四大类
四大类
第一个是Analysis
Analysis这里边很多时候是用来描述
就是这个东西的平均值是多少
我的这个转化率是多少
它最后其实是把这个数
就是给原封不动的呈现出来了
我这里边百分之多少是男生
百分之多少是女生
我来的人里边大家的Income Level
大概都是什么样子的
只是一个描述的功能
那在这个描述之上
你会有结论
比如你会有一些带入一些价值的课题
比如说比如说这里男生多女生少
是不是因为我们的产品比较适合男生
不适合女生
或者说反过来适合女生不适合男生
那我们这个那我们就是这个转化率
现在这个转化率是高还是低
如果是高是低的话
到底代表着什么
中间是有一堆价值判断
价值判断之后很有可能就是说
我们这做的好还是不好
那我们有没有什么可以提高的地方
那最后那接下来呢
这个我为什么会把这个
Baseless Intelligence和这个Data Scientist
给分开来啊
就是就是我当时我我见了一个
西雅图的这个Facebook
就是Data Scientist实战群
然后我练了一大堆
我想听想要请嘉宾来讲的这个内容
然后去请嘉宾来讲
结果就比如说怎么样子
用Tablo做数据可视化
然后怎么样子
用Tablo做数据可视化
然后怎么样子
结果就有人说你这些东西都是BA的题目
就是Business Analyst的题目
你这东西不是Data Scientist
我后来想想也有道理啊
就是大家想到这个所谓科学家
科学家是干什么的呢
科学家是做模型的
就是如果你想这个就是
学校里的这些PhD在干嘛
就是在做模型
那模型就是你用一个一个比较Structure
或者说是一个比较
比较有一个比较有一个
或者说是一个比较数学数学
或者说是一个比较Scientific的东西
去分析问题
但是我后面我也会说啊
就是大家不要对这个工具特别在意
就是你用模型去进行分析
和你用你的商业理解去进行分析
这个东西本身没有什么高下之分
你如果能用比较这个平均值来得到的结论
你用一个复杂的模型去得到一个同样的结论
那我觉得前一种的方式是一个更好的方式
就是我们大家可能就是
大家有一种这个手艺人的这个执着吧
或者这样子说
就是很多人会觉得我用一个
我会用一个复杂模型
别人不会用这个复杂模型
这是我的竞争优势
很多时候是这样子的
比如说你去做一个这个预测模型
那你的预测模型
你对这个东西理解更深
你知道它在什么情况下
应该用什么样的模型去做
你知道你的不同的系数是什么意思
然后你知道你怎么样去控制
你的各种各样的因素
你的模型更科学
然后你的结论更科学
那你当然是更厉害
这个时候你应该用一个更科学的模型
去解决这件事情
但是你不应该把更科学这个东西
本身做成一个追求的目标
你追求的目标呢
应该是你解决了什么问题
你解决最重要的问题
你的就是你的结论是
能最直接的产生硬盘
这才是你追求的目标
那最后我们深谈点
我们刚刚说了
就不再多说了
就回到刚才我刚刚说的这些东西
就是数据科学的价值是什么
我这几个例子吧
就是几个例子
就是什么叫用你的这个
什么叫用你的这个商业理解
去进行分析
就我们说一个电商网站
这个电商网站它就是一个
你想象一个普通的Wi-Fi
比如说它除了大家直接来的这些人
那它可能绝大多数
过去到时候打广告
Google上打广告
Facebook上打广告
这些广告是需要买的吧
那你发现你买一个广告
你的流量成本是一分钱
一分钱一个人进来
然后你的conversion rate
什么是conversion rate
就是你进来一个人到买东西
这个比例
conversion rate是0.1
也就是说你这个千分之一的人
你进来一千个人
一个人在你这买东西
好了我这数据放到你面前了
你可以做什么样的分析
如果是一个初级一点的分析
我可以做一个很简单的cost and benefit analysis
就是或者说是ROI或者说是LTV
总之就是我相当于一分钱
一分钱买一个量
然后每一千个人
可以得到一个transaction
相当于我一个transaction的成本
是十块钱
假设我能赚20块钱的话
假设我这个卖一单能赚20块钱的话
那我就值得去买广告对吧
然后我这个就来出一个建议
就是说我这个广告
是一个非常好的渠道
我们应该多花钱买广告
使劲买使劲买到这个货格成本是多少
买到这个货格成本是两分钱为止
因为它肯定你买的东西越多
转化率越差
然后你买到这个货格成本
到这是20块钱为止
这是一个很好的分析
但是这是一个比较初级的分析
你的产品没有什么进步
你只不过是说我应该去
我只是简单的说
这个广告值不值得
但是一个高级的数据分析师
会告诉你什么
或者说一个有经验的
有商业经验的数据分析师
他有很多种方式去分析这个东西
首先他对industry
会有一个非常深刻的理解
他看到这个数
他就知道这个数到底哪有问题
就是他会有一个非常好的product sense
比如说他就会知道我的竞品
我就是我做了很多e-commerce
我会发现我竞品货格成本
可能是一毛钱
但是他们conversion rate
可能是5%
而不是我的0.1%
这表示什么呢
这表示他每一单的效率
是我的5倍
就虽然他的货格成本
是我的10倍
但是他的转化率是我的50倍
所以说他就是同样的钱
同样的钱
他使用钱的效率是我的5倍
长期来看的话
我是不可能竞争过这个人的
就是他的转化率比我比得比得好得多的话
我是竞争补过他的
那我们这最大的问题是什么
就是我们这conversion rate
为什么只有别人的50%
那我们就可以打开看
这个conversion rate
到底是有什么东西来决定的
你从一个surface
然后一直到点击一个product
你点到这个product以后
你可能有的人去看
跳去看别的了
别的人去点这个by now
然后点了by now以后
你还有一个
从by now一直到transact
这个过程
就是这中间有好多步
你可能会知道你的竞争对手
每一步大概转化率是多少
你的转化率是多少
然后你的问题出在哪一步
那这个时候就signal
你的产品到底出了什么问题
是不是因为你的页面太丑
是不是你的这个listing quality比较差
是不是你的家庭有问题
是不是你在这中间就是surface出了问题
或者说你的这个要求
别人的信息要求的太多了
或者说是你的这个就是
你这哪出了bank
然后自然有人进行不到下一步了
他在这就可以看到
您的产品的很多问题
对吧
那你那个还可以做AV testing
去说假设你觉得这有问题的话
你可以做各种各样的假设
你可以去用AV testing去看
到底是哪些feature
是不是因为你的竞争对手
这儿是那个绿色的button
你的是橙色的button
然后橙色button就是不如绿色button
只好去搞
是不是你的这个页面
你的页面都是白色的
然后别人都不是白色的
然后这里有很多很多
根据你的product sense
你会提拔出来很多很多的这个想法
然后你可以去用AV testing去验证
好的数据分析师
或者数据分析师在这儿
就可以看出来巨大的差别
一个好的数据分析师
他的想法是准的
他测试的东西
他测的东西是准的
他可以很快找到问题所在
他可以找到root cause
然后他把这个东西给提升上去
那一个弱的数据分析师
他就大海捞针一个一个试
所有东西都试一遍
然后最后也不一定能找到一些
他用的level
就是企业的时间都是钱
这都是有成本的
好的数据分析师
坏的数据分析师
功利的差距
会对这个企业最后的商业
有一个非常大的影响
那另外比如说我看到这个数据
这是我随便想出来的数据
但是我可能看到一个数据
我会先想是不是我们targeting出了问题
为什么我们的后果成本那么低
是不是我们找来一堆垃圾客户
然后对方他在targeting上非常好
所以说他的客户自然而然整合得比较高
这可能是我的第一个想法
那你如果应对这个想法
你也可以去做user survey
那你做user survey上
这又有一大堆这个方法论
就你如果直接去发一个 survey 的话
是不可能得到好的结果的
因为你真正想要得到结果的那些人
不会回答你的 survey
这中间有很强的selection bias
那又有很多关于 survey 的方法论
你可以去design这个 survey
去得到你想要的结果
那你也可能去得到
就是你unblock yourself
去得到better data
你可能你现在你只知道这个谁
就是几个人来了你这
但是你可能会可以知道你的这个
来的这些人到底是
就是到底是来自于哪里
他是来自于Google来自于Facebook
然后他来自于email
然后来的这些人到底是什么样子的
这个income是什么样子的
他的这个之前
他到底是不是一个e-com铺客
他的geographic是什么
对吧
就是有很多其他的数据
可以辅助你去进行分析
然后最后帮助你得到结论
如果想想就是通过你的分析
好你把你的这个conversion rate
从0.1%做成1%了
那你就把这个从10块钱变成1块钱
这个才是这个数据科学家
最后的意义所在
就是你不是说得到这样一个结论
你是可以把这个1块钱变成10块
把这10块钱变成1块钱
这才是你的价值
那我们稍稍总结一下
就是impact impact impact
impact是最重要的
那怎么样子产生impact呢
你可以改进改变
改进
就是你可以让你的
你影响整个公司的战略
就是你可以让你的公司觉得
这个东西我应该double down
而不是去做另外一些没有价值的东西
你可以发现产品的机会
你可以发现这个就是市场上
你通过你的分析
你发现这个市场上这些人是最有价值的
所以我们应该去为这些人去做产品
你可以指出这个产品的方向
到底是应该是往A走还是往B走
或者说你这个A B testing结果
你可能A的这个test涨了一些matrix
降了另外一些matrix
然后B正好反过来
那你在不同的matrix怎么取舍
你怎么样子去断断长长时间
这都是这个delta-santus心理是最有数的东西
那你可能修正错误
就是大家都觉得
我们的目标客户是什么样子的
来我们这的人是什么
然后他们的购买的习惯是什么样子
结果你通过数据发现不是这样子的
我们其实就我记得我在国内当时跟一个人聊天
他们是做乐淳他们说做酸奶的
他们这个酸奶他们当时做得特别特别漂亮
然后打这个乳清蛋白什么的
也有很多各种各样的package
这个package就是有不同各种各样的口味
什么这个玫瑰口味
然后栗子口味
就一打就是白丁小清新
结果他们在天猫上卖了以后分析一下数据发现
他们来这附购率最高的就是钱托事少的
是这个妈妈是年轻妈妈
这些年轻妈妈家里有钱
而且他们愿意花很多钱在提升营养上
他们想给自己孩子吃最好的东西
他们发现乐淳是一个性价比比较高的酸奶
他们想补充这个乳清蛋白
所以说他们一下子买很多
反而一些白丁就是买了以后拍拍照什么的
然后之后就不买了
一个月买一次
这些妈妈就是一个周一个周时间买
那他们就通过这个东西通过这个结果
就做了很多关于这些年轻妈妈的
年轻妈妈的产品包装和促销和软文
最后把这个市场打开了
就是把钱精力和时间全都花在了这个市场上
让他们的销量就提升的非常高
这就是一个很典型的修正错误带来的结果
日常工作中
你Dellis Santos还可以帮这个team来执行目标
这是我在Facebook其实感受很深的
就是在很多别的企业
不管是亚马逊
还是我之前做咨询接触的企业
或者说我平时接触的其他企业
大家不是很把这个目标当回事
就是领导从top down定下来说
你这个你这个你这个quarter
或者说你这一年
你要把你这个指标降百分之多少
然后大家哽哽哽哽哽
还有定感多
然后很多go也是来自于finance
就是finance说我们要把盈利提升到什么什么程度
然后定了
定完以后
答不到答对到
就是也不是那么那么的猜疑
当然你答到了
那大家皆来欢喜
答不到的话
有的时候就是说这个东西是red
这个东西是yellow
但是也还好
Facebook在这一点上
我发现特别特别严
就是你的product
如果说你met goal
或者说你exceed goal
或者说你没有met goal
对所有人的这个rating都不是直接相关的
就是大家特别特别把这个东西看得特别严肃
那为什么会把这个东西看得严肃呢
是因为它在制定go的过程中
本身就是非常科学
因为它有很多数据
因为它有历史的数据
和你这个未来想干什么
大家在制定go的时候
把要做的东西想得比较清楚了
而且都是有严谨的数据
去backup你这些结论的
那你最后定出来这个go
这个go就是一个比较科学的go
那就是可以用来message你这个tm
到底是做的好还是不好
当然这不是绝对的
就是你对一个新产品的话
可能很多go都特别难定
但是总而言之就是
这是一个很重要的事情
在大多数企业没有做好
但是你随着这个企业的数据的全面
和这个数据文化的流行
那这其实是可以做得更好的
那定完go了以后
自然你在定go的时候
你会size不同产品
或者不同project
或者不同program的impact
到底是什么
那你在size这个impact过程中
你就知道了它们的优先级是什么
什么东西最值得做
然后什么东西就是性价比最高
那你就可以先去做这些性价比高
然后这个impact比较大
或者不得不做的事情了
那最后一个就是你这个促进理解
就是在一个企业里边
大家什么时候工作效率会比较高
就是大家对自己的工作
知道自己的工作意义是什么
的时候工作效率会比较高
如果说你只是老板给你拍一个活
然后这个活你觉得没有意义
那你哪怕去做了
你可能也很难
说比如说是为他主动去多做一点
或者是多想一点
那数据科学家他可以用数据描述这些事情
然后通过这个数据告诉大家
你做的这个事情
对我们整个的goal是有什么样的impact
和我们如果达到了goal
那对我们这个business有什么impact
让大家更有使命感
那这种情况下
对整个work也是非常有帮助的
好的 这是数据科学家的impact
我这有一个disclamer
就是这是我觉得数据科学家应该产生的价值
这不是现在绝大多数企业
数据科学家真正在干的事情
我看了大家的 survey的question
很多question都是说
数据科学家的career path是什么样
各个公司数据科学家的日常是什么样
就是我也跟一些东海岸的朋友们交流
因为西海岸大多数是科技公司
东海岸比如说你这个在finance
或者说在一些传统行业
或者说在marketing
他们都有很多他们的data centers
那不同的公司做的东西实际上是太不一样了
首先大家我发现有一个pastion
就是大家都说自己做machine learning
就仿佛不说自己是做machine learning的话
这个就不好意思说自己是科学家
在我看来就不是一个什么特别好的现象
这是我的open discussion之一
就是我有两个open discussion
第一个就是这个machine learning是数据科学家的归宿吗
我觉得不是
为什么
先说为什么数据科学家最后都去做machine learning
因为它是我们的教育导致的
就是你在学校里边谁会学machine learning
基本上就是做统计的和做CS的
但是做CS的呢
他可能学的反而是这个图像识别
这种比较有难度的东西
那你如果说
因为所谓的machine learning model
都是统计模型的延伸
我说的是fatip learning machine learning
其他情况都是machine learning的延伸
你要么是给这个方程给你的regression做一个regulation
要么像你这种random forest or spd
这些都是基于统计的购架之上的
统计的人去学machine learning
是一个很天然的东西
那你如果去开构上看数据科学家去的网站
去开构上挑战这个开构challenge的人
也很多都是学校里边学统计的学生
那这些人最后他们的职业方向就是数据科学
他们也是最先接触和最先被train来做 machine learning model的这些人
那自然而然
尤其在分工不是特别细的这种行业里边
他们就来做machine learning model
但是我把数据科学或者说数据科学从数据或者说决定的科学
对 做决定的科学分成三个部分
有什么样的决定
你可以有科学的决定
你可以有艺术的决定
你也可以有工程的决定
什么意思
就是艺术的决定是什么
比如说马云要不要做淘宝
他当时在一个自己还是英语老师的时候要做淘宝
比如说乔布斯要不要做iphone
这个东西你有数据去支持他的决定吗
maybe
但是他们做这个决定肯定不是因为看到什么数据去做的这个决定
对吧
就是他们发自那些那个决定
这是一个艺术的决定
那工程的决定是什么
就是这个东西是假货还是不是假货
这个东西是猫还是狗
你有个数据
你有足够多的数据
你有足够好的model
你可以几乎黑白分明地知道这个东西
它是有一个确定答案的
那这个东西它其实是一个工程问题
它不是一个科学问题
这是工程的决定
那科学的决定我觉得就是这两者中间
就是你有一些不确定性
但是你通过你对这个世界的理解更多
或者说你的方法更好
你就可能得到一个更好的决定
那这个是一个科学
其实陌生人用于model
你真的到了这个大规模的应用上
它是一个工程问题
对它不是一个科学问题
就是它当然被底下的是一个科学问题
就是你去build这些陌生人用model
你去研究什么样的
你去改进这些model
然后你去把这些model去用
就是你去提升这些model
它是一个科学问题
但是做这个的人其实不是很多
就是大家说在做陌生人用model
绝大多数人我们就说是掉包起来
就是你去这个
我有一个表情包我觉得非常非常非常非常贴切
就是import这个import那个
import non-py
然后import as killer
from as killer
import random first regressor
然后别的不会了
真的是这样子
就是你去调用了一些包
然后你去看了一些现成template
你会去做一些data exploration
然后你去用这个
你去用这个结果
就是你把数据清晰好了
然后你去用现成的包去删一些数据
然后最后predict出来一些东西
最后的结果是不错
但是这里边真的有什么科学的东西吗
你只不过是会调用一些包而已
你很少有人去真的把这个包打开
然后去自己做一个新的模型
这种人当然有
但是我觉得以我看来
绝大多数的data scientist
不是很适合去做这件事情
因为到了最后
真的想去把它应用起来
真的想进production
那其实是工程师最更擅长的事情
就是我说掉包这件事
掉包这件事
因为它最后
它在掉包之外
你要把这个数据的pipeline打好
你要有一个稳定的运行环境
你要去在什么样的机器上去train最合适
然后在什么样的机器上去host这model最合适
现在很多这些东西都已经自动化了
大家就是Google的automall
或者亚马逊的search maker
这些东西都已经很自动化了
包括调餐都是自动化的
大家正在努力自动化
如果说你作为一个
工程能力不是很强的data scientist
你把这件事情做成你的career追索目标
但是你又没有能力
万一你又没有能力去
在这一身去进行什么改进
我觉得这个饭碗迟早要丢掉的
最后还是engineer会比你做更好
但是这些都是我的观点
这都是我的观点
所以是一个open discussion
那第二个观点
就是数据科学对创业公司的价值
这个也是主讲人
就是club想要请我来说一下的东西
因为我恰好有这么一些所谓的创业的经历
其实都不能算是创业
因为我没有去找人拿过融资
我也没有去做成那种做peach stack之类的东西
这都是我自己去运营这些business的一些经历
但是在我看来
但是好歹我有一些商业运营的
或者说是这种small business的经验
在我看来数据科学对创业公司价值不大
为什么
我举个例子
可能这个东西我觉得还是一个挺好的类比的
就是你在一个餐馆
有一个砖码师傅
砖码就是砖用手砖
码是这个就是码数的码
一个十字十一的码
砖码师傅
这个砖码师傅
我不知道这里有多少样样性的人
就是相当于样样性的scout的作用
就是supply chain optimization technology
是这样一个部门的作用
他会决定
他会对每天这个菜的run rate有一个感觉
他知道你的大白菜该备货了
你的猪肉该备货了
你的豆腐肥肠什么的
他对每天每道菜能卖多少
有一个大概的感觉
然后你inventory你要备货有一个感觉
然后他根据他的感觉
他决定今天我要进什么
如果说他该
他就是这个东西卖比他想象中的多了
那就会出现缺货
如果这个东西比他少了
那这个菜就会剩掉
最后烂掉
卖不出去
然后就会浪费
这个东西按道理是一个数学科学
可以发挥作用的东西
大家可以想到
我可以做一个forecast model
然后我可以把这个inventory全都打起来
然后我去做一个forecasting model
去把这个inventory给optimize一下
对
但是这个砖码师傅的工资是多少
对
但是这个砖码师傅的工资是多少
你的工资是多少
然后你的forecasting model
你有信心你的质量会比这个砖码师傅的决定质量高吗
我是没有
就是因为它其实很复杂的
它不但有每天
然后有seasonality
然后有活动
比如说你在吃货小分队上发了一个文章
那你今天这个菜可能一卖爆了
那你比如说大家今天流行吃什么
或者你被信息有人突然发了一个你的照片
有人突然发一个炒饼片
你这个东西就有卖爆了
就是在我看来
就是你
当然首先创业公司和创业公司不一样
就是我说的是这一点
就是small business或者说是
就是比较一线的创业公司
什么叫一线的创业公司
就是你的创始人和你的这个公司
都是在商业一线的
而不是说比如说一个外面平台
这个外面平台跟消费者就隔了参观
这一道
那它就是一个二线公司
这种一线公司
他创始人或者说他的business owner
或者说他的一线员工
应该是对数据最有感觉的这些人
他们应该是最准的
他不应该需要数据科学来帮他提升什么
只有当他的规模变得很大
他对一线已经缺乏感觉了
他已经没有一个最直觉的判断了
这个时候数据科学
用来描述数据才会产生价值
帮助你理解数据
然后帮助你去改变你的领域
才能产生价值
所以一个是大公司
一个是你离消费者比较远
就比如说你在一个大公司里面
你的程序员
对你这个用户
到底是怎么使用你的数据
这个产品
已经没什么感觉了
那这个时候数据科学
是一个很必须的东西
这是我的另外一个open discussion
就是我觉得创业公司
不应该需要数据科学家
如果一个创业公司
他说我特别需要数据科学家
我就会对他的公司创始人
到底懂不懂行
有一个巨大的问号
好吧 最后就是强起你总结
来一些take away
就是数据科学的价值是什么
impact
重要的事情说三遍对吧
就是你一定要能产生impact
就是你一定要说
有你没你这个公司
是有不同的
这个才是你的价值
第二个
仍然数据科学的工作范围很广
找到你喜欢做的那一部分
然后去做就好了
而且就是在传统公司
和互联网公司的对比下的话
就是大家看到了
传统公司对数据科学的价值开发
远远没有到
远远没有就是scratch surface都没有
举个例子
你这个超市
你超市
大家去超市都有会员卡
你觉得这个超市
真的把你的会员卡的
这个价值发挥出来的吗
他真的对你有任何personalize
这个东西吗
他知道你的消费数据吗
就是他
或者说他知道你的消费数据
他有利用这个东西吗
他凭你有任何的reconization
或者说有一个
就是大家可以想到的很多东西
比如说我平时都会在这个评次去买东西
我现在不买了
那这个超市里面纳资我一下
然后让我去买
他没有什么超市在做这件事情
那如果大家说数据最多的这个是什么
在国内可能就是支付宝
在这可能就是visa
visa有很多很多的消费数据
但是visa干了什么
没有改动
就是大家连这个很多传统行业
就是连这个数据的这个logging都没有做好
就更不要说去把这个数据发挥价值了
所以我觉得未来数据科学
就长久来看还是一个很有前途的东西
就是你把这些基础东西做好以后
它是可以unlock很多它应该有的value的
那最后一个呢
就是说我想跟大家说的
就是不要纠结于工具
就是你解决问题
寻找有意义的问题
是只有数据科学家最有价值的地方
因为你对数据最了解
你对商业你没有道理
你没有什么理由你对商业不了解
就是你可以去读
你可以去问
但是你对商业应该有足够的了解
然后你对数据又是最了解的情况下
你应该是能找到最有价值的问题的
那你在我看来
就是简单的工具解答重要问题
比复杂工具解答重要问题更好
那这些远远的
大于解答不重要的问题
不管你用简单的工具还是复杂的问题
如果你简单问题不重要的话
那你就没有用
就是这个本身就是
你不管用什么东西解决它都是没有用的
好了总结完了
好谢谢孙博士给我们做的精彩演讲
然后我们现在进入问答环节
大家可以在Zoom group chat
或者是snidle里面然后铺问题
我先从这个group chat的那个问题里面
然后开始说
这样的话然后大家都能看到
而且group chat里面大家然后输入问题很方便
首先第一个问题是
关于slides里面的内容说
你如何知道对方的conversion rate
就是你之前举的那个例子
你是怎么知道对方的conversion rate是5%
就是我不能具体的去知道某一家竞争对手
但是你要在这个行业里边去不断的去积累知识
第一件事我google
我就发现其实google上
就有好多一个正常的电商网站的conversion rate是多少
然后我可能去看书
然后有一本这个link analytics的书
我一看它也证明了我这个东西是什么样子
我还可能会去跟同行交流
就是我会问你们这你大概的conversion rate是什么
有的是可以说的
我是不可以说的
但可以跟我说的
大概也可以confirm我这件事情
那我自己我还会去跟这个
跟这个就是
电商吧就是国内有一些做电商的
我会主动去跟他们交流
就是说我们互相学习一些东西
他们有的时候也很愿意跟我分享这件事情
他们也会去请教他们自己行业里的专家
就比如他们可能是一个新的电商
他们去主动去跟那个行业里做的好的电商去请教
就是这个东西conversion rate应该是多少
conversion rate应该是多少
然后就是你要主动去学习
这是我想说的
就是你不要坐在这里等着数据掉到你头上
不可能
对这个说的主动去获取这些数据
真的是对这个商业是每个商业都是很重要的
包括我们自己
然后对于个人来说也是一样的
你要去主动去获取这些数据
而不是说等着然后去怎么着
怎么着要自重去学习这些东西
第二个问题
dead scientist要负责设计死位吗
还是这个还是这个应该是productor做的事情呢
我回到这个
就是有人能做能做得更好的话
你就让那个人做
如果你觉得这个东西很需要做
然后没有人能比你做得更好的
你就做
好
然后这个之后
然后有一堆问题是关于
这个dead scientist的career path
包括从其他的行业转到dead scientist
我一个一个来
首先第一个问题
未来十年sde和dead scientist哪个track会发展会更好
sde
这是个经典的
先来讲一下这个
首先sde的工作数量是dead scientist的十倍
除非你现在是一个
已经
就是你愿意
就是这个东西首先你要看自己的热爱是吧
你不能
就是你的职业
就是你的工作是你的人生一部分
如果你只是为了一个结果的话
这个结果
其实你死了以后都不存在
你为了赚钱或者什么样的存在
所以说工作本身你找到你爱做的工作是很重要的
但是你如果纯粹是一个找工作的方向来说的话
你去看sde的职位数量是dead scientist的十倍以上
而且sde的普遍工资是比dead scientist高的
比如说facebook sde的工资大概是同级别的dead scientist的40%以上
这就是为什么很多dead scientist又想做machine learning
因为做machine learning
他的工资也是比不做machine learning工资要高的
在facebook他叫machine learning engineer
而不是dead scientist
所以machine learning engineer
基本上是sde比dead scientist高30%
然后machine learning engineer可能还在资质上更高一点
再马逊也是applied scientist
就是亚马逊的machine learning engineer
是比sde薪水要高的
整个公司就是同级别最高的
所以说你能做engineer
如果说你无所谓你做engineer
还是你做dead scientist的话
你就做engineer
我想补充问一点
在未来的发展比如说
因为你dead scientist是不是你会更接触于公司的核心的商业力
所以在你后面的对你后面的比如说
升值道路上面是不是你会走得更顺一点
相比sde来说
我觉得如果说
我觉得如果你是这样的人
你是一个愿意去寻找这个值得被解决问题的人
然后你愿意主动去解决它
那sde其实更有能力去解决
sde你自己就把它解决了
dead scientist只是指出来问题
你还要让别人去帮人你解决
没有什么dead scientist干的事情
sde不能干
但是sde可以自己build things
但是dead scientist在这是做不了的
好
我在这边补充一下孙伯刚才说的有些东西
就说我从我自己跟dead scientist打交道的经历
和包括跟这些互联网大厂打交道的经历
感觉是dead scientist面试的时候也会面编程内的问题
会面就特别像facebook谷歌这样的
他即便招了scientist
但是也是会面编程的
所以可能就是说你不管是sde还是dead scientist
你都需要有一定的编程能力
对我这儿还是想再加一点 disclaimer
我说的都是一个不一定适合所有人的东西
就是你看你的情况
你第一你要看你自己的能力编辑是哪里
你做什么东西就是你的性价比会最高
再是看你的兴趣
对我说的这个是我先假设你没有能力编辑
就是你想做好dead scientist就能做好dead scientist
你想做好sde就能做好sde
你在做了一个sde的时候你还能干dead scientist的活
我是这样假设的
在这种情况下你应该去做sde
但是现实情况每个人都和每个人都不一样
我觉得我的回答也不一定有什么价值
然后下一个问题
就是针对因为您是从economics
然后转到dead scientist
然后有人请教你一下
能分享一下转这个方面的经验吗
经验吗
对就是说你从不同的可以讲说是有一点点不一样的专业
从economics然后转到dead scientist
因为我通过很多工程上课的
economics的要求比dead scientist高很多
所以说这不是一个
需要我去做什么准备的
我只是对这个dead scientist
因为为什么我先说为什么要转
就是我其实在economics的那个岗位上拿的钱
比dead scientist还要多
然后而且它的要求更高
它的这个用的知识也更复杂
所以它会做很多复杂的machine learning的costal impact model
那为什么会想去转过来呢
就是因为我对产品还是更有兴趣
我对产生impact更有兴趣
所以economics你会用复杂的模型去解决一些复杂的问题
但是你要产生impact
你要别人去adopt你的这个recommendation
recommendation的insight
是一个比较间接的工作
那当然有一些economics做的好的可能比较直接
我那个我就需要别人来听我的话才能产生impact
但是dead scientist就会更那个更快一点
而且就是facebook这个公司也确实比较快
它比较年轻比较快
所以说就是dead scientist确实在这儿就是换一圈
或者说是大家不要听dead scientist的建议
如果说你的建议仍然靠谱的
所以我比较喜欢这种感觉吧
好那下一个问题
dead scientist往数据工程这个方向发展的话
对engineer的要求和未来的发展路径是怎么样的
是往我们职能力方向发展吗
如果不是的话是不是做cv nrp和demodeling
最后都会因为主要工作是调参而失去竞争力的话
那dead scientist最后分支是product analysis
和 machine learning engineering吗
谢谢这个问题问得有点
我觉得就听完以后我就觉得我好像刚才说的太说了
我觉得很快
这个问题是也有可能他是在一开始问的吧
对是在刚刚就是刚刚的解说的
这个你可以再稍微重复一下你的这个观点
这个没有没有大问题
对就是首先 data engineer是就是去把数据
就是起码在我的理解中啊
或者说我打交道的 data engineer
他不是做model的
他是做data pipeline的
他是把这个data从一个记录好的东西
把它想好怎么可能怎么取
这是data engineer干的事情
做的是数据库的工作
然后你刚刚说的就是data scientist未来的这个走向
就是我听起来这个对这个思路
又回到了这个以技术来定义工种的这个思路上
就是到底是去做数据库
还是做 machine learning model
做 machine learning model 是不是一个铁饭碗
我听起来好像有这个意思
可能是我的曲解
但是我想说的就是说
我起码对我来说
我觉得我能产生价值或者说我的比较优势
就是这个寻找重要的问题
解决重要的问题
然后去让公司让整个产品走向一个更好的方向
OK然后我觉得其实就是你的slide里面的那个第11页
machine learning 是最终的归宿
这个是个首先这个是open question
我觉得不是一定的
因为在我看起来就是很多时候真正我觉得
因为我其实在亚运行做很多 machine learning model
我觉得就是做 machine learning model
确实我同样一个模型
我同样一个结论
是我用这个linear regression跑出来的
和我用machine learning跑出来的这个
就会大家确实会对待这个结果有个区别
就是大家会更信machine learning model跑出来的结果
对就是大家也是有一个bubble
是有个迷信在的
但也确实觉得你能做machine learning model
你更加不可替代
但是我不喜欢这件事情
然后而且我觉得真正那些
他们machine learning model做的好的
产生价值的这些人
绝大多数都是engineer
或者说他们是scientist
但是他们的engineer能力非常非常强
他们写出来的model是真的
就是天天是在用的
而且这个model有了以后
和没有区别会很大
然后这些人其实在我看来是少的
绝大多数的人是在用一个复杂的模型
解决了一个可以不被模型的模型解决的东西
但是真的解决了这些问题的人
他们无一例外
而且不管他们scientist能力有多强
就是他们有的是掉包
有的是自己去用一些模型
或者是自己开发一些模型
但是无一例外
他们工程能力都非常强
在我看来不是我的优势
我觉得以我接触的很多dataccientist来说
我觉得也不是他们的优势
好 下一个问题是李静
我觉得她这个问题问得比较好
她把整个数据科学家的核心能力都问了一圈
首先第一个就是数据科学家的核心能力是什么
平时自己如何去训练这些能力
公司招数据科学家的时候
会看他开稿的那些profile吗
最好的showcase自己的核心能力的方法是什么
好吧 就是不同的公司
again 对数据科学家的定义会很不一样
是吧
有的公司他去做Excel
有的公司听说你会做马上就来吧
你给我来做马上的model
不管这个东西
因为回到刚才说的那一段
就是比如说在一些美国的传统公司
他们谁都不懂
什么都不懂
然后你在report给你的老板的时候
你就说我这儿有人来做马上的model
听起来就很好听
他们就哪怕为了这个也会招人来做
这件我就不谈了
我们是谈就是还是基于一个价值的因素来谈的话
那就是说Facebook的Velocantis在面试的时候做了什么
我觉得还是一个挺好的一个指标
那这四个名词一个是概率统计知识
叫quantitative
一个是tech
基本上就是考你seqo
你会不会拿seqo
会不会取seqo
会不会做基本的这个数据的分析
一个是这个PyData
就是你怎么样子用这个数据去回答一个问题
然后就是当你提出来这个问题的时候
你觉得什么样的数据可以回答这个问题
如果这个数据不存在的话
你有没有办法制造出来一个数据
第四个就是ProductSense
就是会问你一堆product问题
就像我在咨询的时候问的这种
就case interview
就是说我这儿现在有一个这种情况
然后你觉得你应该用什么样的方法去解决它
然后你的选页还是选并怎么选
这个是起码是Facebook的招聘官
认为的Data Scientist的核心能力
嗯那就是比如说Facebook招
Data Scientist的时候会看到
会看你这个Kaggle的这些profile吗
还是说这就是主流厂商会看吗
如果你有工作经验的话
他基本上只会看你的工作经验
如果你没有工作经验的话
可能Kaggle有用或者没有用
这我就不知道了
也许你是一个就是Kaggle上的特别厉害的project
然后你取得特别好的名次的时候
像我据我所知啊就是
有的人在这个工作了以后
还是去打Kaggle竞赛的
那就说明这个东西确实是有用的对吧
对
而且尤其是你要做Machine Learning的话
那你Kaggle上很多东西都是Machine Learning
那我猜可能就是更好用
但是我没有去面对Machine Learning和Track
所以我就不知道了
嗯好然后下一个问题是
统计背景的PhD找数据科学工作
需要做哪些方面的准备
就是哪些知识和课程
那我相信你的这个
就刚刚说的四个东西嘛
我相信你的这个
起码统计知识肯定是不会有问题的
而且你天生就有一个学历的家常
那你接下来CQA
CQA对你来说应该不是什么问题
可能你学一个礼拜就学会了
你接下来最主要的就是你的Product Sense
我有一篇知乎文章本来
这个是我的
这个文章是我的一个知乎文章
我还有一个知乎文章
那个写了怎么样子去进行Product Sense
就在这稍微总结一下
就是说我比较推荐你去
去做一个知乎文章
然后你去做一个知乎文章
就是稍微总结一下就是说
我比较推荐你去看一下
准备一下管理咨询的面试
因为他们是专门为了这种Case interview准备的
所以说他们会有一套的框架
去帮助你更好的表达
更好的分析
把这个问题放到一个
比较好的分析框架里面去
然后去有情有重的去分析这个问题
最后把你的这个问题比较好的总结出来
我觉得这个训练是一个挺好的学问
好
这个群里面大家很踊跃
这个都快拉平了
这个刷屏我都快
问题快回答不结束
我很欢迎大家继续提问题
没关系
我一个一个来
然后下一个问题是
很多咨询公司不招数外国人
我们应该怎样修改我们的简历
然后才能Overcome这个等级的Disadvantage
但我觉得这个问题可能在这提的
可能太宽泛了
我不确定孙伯有没有什么
对就是独特的见解
他说了他不招外国人
你是外国人
那你除了不招外国人
就是简历造假
然后简历造假肯定是不行的
你就变成美国人了
嗯
OK
那下一个问题
现在Death Scientist和BA有什么区别
感觉很像
就像我说的
就回过来说就是
嗯
我已经断上去了
哦这个
我在亚马逊干的是这两个
加一些这个
然后我在Facebook干的
基本上是这个
我很少有模型了
我基本上就是那个
就是取个数评讯数
然后各种话语化
但是我觉得我做的工作非常有意义
就是我产生了非常多的impact
我今天
虽然不能说
但是就是反正很有意义
就是就是我不觉得BA
大家好像听到BA就有一种
我就觉得说到的鄙视
我觉得
没有
就感觉好像大家是理工科鄙视上课
有这种
我觉得鄙视链是存在的
就是模型科学家鄙视普通科学家
然后普通科学家鄙视BA
然后BA鄙视BA
但是我觉得这个完全是一个
对的关系
我觉得这鄙视链让我想起来
以前我们上大学的一个鄙视链
比如学物理的鄙视学大华语的
学大华语的鄙视学自然记的
但最后然后自然记的工资反而拿最高
对啊 学区学的鄙视色尔人
我觉得这个完全没必要
有一个
这是方毅玉
然后提了一个问题
能否分享一下
Facebook用dead scientist解决了什么样的问题
我觉得这可能具体的问题不能说
因为可能涉及到社密
但是可以说一些大体的方向
有没有问题呢
我觉得这里边都是我天天的工作
就是我这些事都干过一遍
但最重要的东西就是这里
嗯
OK
请大家举例子
对 我觉得这个东西
具体的举到一个比较实际的例子
可能就涉及到这个公司的隐私了
对
那我们继续下一个问题
然后这位同学问的问题
数据科学家概念和数据分析师的概念
我觉得这个之前刚才孙伯已经解释过了
在前面那张slide里面应该已经有过了
我们就不重复了
沙沙提出一个问题
能否推荐一些好的dead scientist的博主
或者知乎的主页
孙伯你的知乎主页要拿出来了
哈哈
我平时会看
但我没有完全关注
我这儿有点惭愧
我看了以后就
就没有说
我觉得你去关注一个你认可的博主
然后去看他的文章
是一个很好的习惯
但是非常惭愧的是我没有这个习惯
我平时绝大多数的学习
还是来自于我的工作
和我自己的学习
当我想解决一个问题的时候
我会去集中看这个问题相关的很多东西
没有什么特别
我不觉得我的那个是一个很好的
我没有一个系统的介绍知识的地方
所以说我也不会不推荐我的东西
好
然后
下一个问题是
请问数据科学家对学历有什么要求
是否本科之后必须要读研或者读博
我会去看
我看到的绝大多数的
像Facebook数学科学家
都是数学以上
我虽然觉得我现在做的工作
本科的数学知识足够了
但是可能这还是有一个
就是劳动市场的公息关系
可能大多数都是数学
但是我想说
在Facebook Master是足够的
多小评识
OK
下一个是关于Solary的
大家都对Solary比较感兴趣
Economist比DeathScientist的Solary高吗
高多少呀
可以说吗
高不少的
去GlassStore上看吧
我就不说了
OK
就是这样子的
大家知道亚马逊的工资是比Facebook低档的
然后
我在亚马逊是
的职位
我的亚马逊是5,在Facebook也是5
工作职举比Facebook也低了一档
在这种情况下
我在亚马逊的Economics工资是比我在Facebook Senior DeathScientist工资要高
所以就差两档
哇
这位同学
然后有一个Economist
在产品岗上怎么发挥独特的优势
Economist在产品岗上怎么发挥独特的优势
Economics在亚马逊不同的职位
不同的岗位
不同的职位
不同的组
干的东西很不一样
所以说这应该没有一个同意的回答
OK
下一个问题是
Data Engineering和DeathScientist有什么区别吗
有
是不是DeathScientist的门槛比较高
不好转
SD好转到Data Engineering
对啊
Data Engineering你做的是
洗数据
你做的是工程而不是科学
如果你的工程能力比科学能力强的话
你就去做Data Engineering
这块是不是DeathScientist门槛相比较高一点呢
不是
我觉得
我做不好Data Engineering做的事
但是我也觉得Data Engineering不见得能做好我做的事
而且一般好像Data Engineering的公司
会比Data Scientist高一点
因为它对携带
我觉得
现在在互联网企业
我们大家身边
都是有SD
所以大家不觉得是吸血能力
但是其实是一个吸血能力
对数据部比较懂的人
所以说从供求关系上来说
Data Engineering好像比较高一点
关于这一点
我也有个问题
在其实我们业界
你经常说Mercenary工程师
其实有很多Mercenary工程师
他们的时间是花在数据上面
这个数据Strike
然后提取有用的数据
这个时间大概可能花掉了他们整个80%的时间
剩下20%的时间
然后才是在挑参数
做Modeling
我不知道你对这个观点如何看待
这是没办法的
你公司
这些要讨论
好也不好
对于个人来说
你增强了很多能力
我刚不是说传统企业
互联网企业
他们对数据的记录和处理方向
能力差很大
你自己越全占
你越有可能在更多的公司
和更多的行业
发挥能力
因为这些公司和行业很有可能
他们的数据是非常乱的
非常杂的
你自己能打Spark服务器
你自己能把这个数据Lock下来
你会买点
你知道怎么做Survey
你能去网上拍很多数据
你自己能获得很多数据
你就可以在一个相对原始的行业
去发挥更大的价值
Versus像我
如果说我很专精在于我的分析
我希望把最干净的数据
拿到我面前
专注于这个分析
对于公司来说
我是发挥了我的最大价值
因为我去做一个Definition人的事情
我完全做我擅长的事情
我就可以发挥出最大的效率
对公司来说是最合算的
但是对我来说
我离开了公司这个环境
很多时候寸步难行
对个人来说
有好有坏
从工作本身来说
我当然希望
100%的时间都投入在我最擅长的事情上
而不是去
我对清理数据没有任何
热爱
我先跟大家说一下
大家到Sledo里面
去提这个问题
这样的话
大家都能够看到
我们最后会Share Sledo的页面
扣住每个问题
这样主持人和嘉宾都能看到
包括所有人都能看到
否则我在这边
翻这个Zoom Chart
可能会比较累
只能我能看到
大家看不到这个问题
我待会
在Zoom Group Chart
最后两个问题问完以后
我就切换到Sledo那边去
Zoom Chart
有一个问题
请问在Facebook
这种Fast-paced环境下
如果Business Focus
一直在改变
Death scientists如何在高速变化的环境中
make impact
还有一个就是
数据科学家如何与
XFN 变化
我不知道XFN是什么意思
这两个是不是
Facebook的人来问的
这个问题
我特别想回答
你改变快速
这个就是Death scientists
最喜欢的地方
你如果这个
产品已经很稳定了
你Death scientists来干嘛的
你能分析啥
你分析了以后
你能分析任何变化
只有当这个产品在不停的变化
大家不停地寻找更好的方向
而且大家
我特别不喜欢
Outculture
大家有领土意识特别强
或者特别Past-dependent
你之前
做了一个什么东西以后
你就抓住这个东西不放
哪怕这个东西很不make sense
比如说你那个时候
你不是去做当下
最好的决定
而是你抓住这个东西
大家为了招人
把自己的Scope做大
去抓住东西不放
这种时候是最不好的
如果说一个像Facebook
我觉得这点挺好的
大家不会去抢地盘
不是抢地盘
抱着自己的地盘不放手
而是说我们看一下
现在这个情况下
最好的方向是什么
你应该在这个时候回答这个问题
你只不过站出来说
我们应该去做这个
而且你这时候是最有说服力的
因为别人在做一个新的东西的时候
等一下是最有说服力的
对
我现在把我们的Sledo的问题
然后share出来
这样的话大家可以看到
更多的
大家现在可以看到这个页面了吗
Sledo这个问题
可以了
我们一个一个go through吧
从上往下来吧
最近几年随着 machine learning 的发展
其他公司因此的职业结构变化
是怎样的
有哪些职业会被替代、升级或者新增
对业务来说
比如说广告和电商
效率因为这些AI技术提升了多少
你能把那个present
点一下吗
present什么
present mode
右上角有个
绿色的button
rezoom share是吧
present mode
右上角
这个是吧
OK
怎么是这个样子
这样就好了
谢谢
对
我没有办法
有一个很precise的回答
因为我看到的东西非常有限
我没有那个
不是什么行业大佬
我只是一个大工的
但是我
我说我看到的吧
很多这个
做重复决定的
东西都被
都被 machine learning都可以取代
亚马逊之前很多investigator
这些investigator
他做的东西呢就是
去根据你
收集上来的数据去做一个
比较主观的决定但是这个决定是
重复性的决定
比如说是不是假货
这个卖家有没有什么问题
那他们的很多
很多时候的工作是可以被
machine learning取代的
基本上是一个
你day to day
需要你去做判断
但是这个判断其实是有一定标准的
是可以被一个工程问题解决的东西
都会被 machine learning
可以取代掉
另外一个就是
deep learning 其实我愿意
跟 machine learning 稍稍分开一下说
就是我们如果非 deep learning
的 machine learning 他在之前
也有他去解决
一个 tabular data
但是 deep learning 发展出来以后
很多非这种
比如说语音
比如说图像
比如说文字
我们都可以把它更好的去
fit到一个结果上去
那这种比如说
我之前一个朋友
做了一个想法
我觉得就是一个很好的例子
就是你在一个直播聊天室
里面去怎么样去detect
在做黄色
如果说
他就他的你人其实是很难去
非常快的去反应的
但是他的算法就可以特别快的把这个东西
给抓出来
OK
好
下一个问题
这个数学科学家未来的 career path
我觉得这个应该是基本上
孙伯已经介绍过了
孙伯有没有什么其他想补充的
我们的水星球
也没有办法预测未来
起码是
我听到的
只是一个很片面的东西
就是大家
从业人员
对自己的岗位觉得自己这个饭碗不牢的
特别特别想发展
这个技巧
通过这个技能来把这个饭碗
给做牢的
做的比较牢靠
一般都是
因为这个公司本身
他对的的作用不是很理解
所以他们天天分析的东西没有直接产生因派
然后如果这个公司
他找到了
他的数据是值得被分析的
然后data scientist在里面能发挥作用
能产生因派的话
大家就没有这种职业交流了
几个大几大主要的科技公司
对数学科学家的定位有什么不同
我只知道两个
我都分享了
对
那就介绍一下阳永兴和facebook
有什么不同吧
facebook它是
很产品吧
facebook其实有好多个
它有ds core
然后ds analytics
我刚说的都是ds analytics
跟产品也非常非常近
刚刚不是有问题说
cross function team
有一队engineer有pm
有data scientist designer
大家一起去决定产品的
走向
我刚刚那个slice里面有
data scientist表格的事情
阳永兴因为他工种分的比较细
还有de
有da有die
有ds有r
有as economist
所以说就是
business analyst business intelligence engineer
刚才说data engineer
research scientist economist
和pass scientist
所以说他的分工更细一点
data scientist在里面
在我看来的话大多数是用一些
特别特别复杂的统计model
去做一些事情
有时候也会做一些什么事
就看不同组织
好下一个问题是
在疫情底下
各大公司对data scientist的招聘情况
怎么样大厂会减少招聘力度吗
肯定的
疫情肯定会减少力度
普遍
on average减少
比如说我们组还在招很多
疫情的时候
new grad是特别特别难找
但是
相对定一点的地位
还是debit还是存在的
因为在大厂很多business在疫情期间
fine grow
这些都是需要招聘的
总结一句话就叫弃生了
刚进来的
新人比较困难一点
尤其
你SD其实
有一个很好的
我刚想忘说了
为什么SD
有的时候比data scientist有一个更好的
职业发展选择
如果你这讲无所谓的话
因为SD它有一个特别特别成熟的
培训体系
你进来以后会有人告
你公司本身就有一套框架了
你什么都不懂
你只要刷过题你只要进来试试你不用刷题
你有一些基本的常识
你进来以后就可以培训你的技术
然后你最后达到一个比较好的工程师
data scientist这个
不太有
没有这种完全成熟的体系
因为它每个问题都是不一样的
你解决问题A的方式放到B那
是不适用的
它没有一个普遍适用的结论
所以说data scientist反而
比较看重工作经验
或者比较看重这种
就是比较喜欢教学
因为你教学它能
但它
硬传的东西还是需要
很长时间记得
OK
好下一个问题是
针对FB的FB不同的
data scientist的职位有一些
不一样有些是data scientist
有些是
不用问了我只知道前面
我不知道后面
后面的不知道是吧
OK然后这位
同学想问的是用的工具
和做的活动不一样能介绍一下
区别吗
我没有办法介绍
区别
OK好
那这个我们就暂时
go through一下我们就到
下一个问题
您刚才讲了很多商业insight
那么商业insight在AI
时代的价值是否有变化
过去一些有价值的人做出了商业
判断与理解是否现阶段
会因为数据价值
发掘的深入而价值减弱
比如电商过去买手对
商品的判断很重要现在
人的判断应该不如机器的判断
我觉得这个问题问得特别特别好
我
对我
因为我
刚刚你读的这段时间
我是和否中间摇摆了
很多次所以我没有一个特别的
因为特律是集的挺好的
因为在我看来
当你数据多了情况下
光说这句子前半部分
数据多了的情况下
数据是更有价值的
你从数据中能发掘出来的结论
是更多的
按道理
确实数据是本身是有价值
同样的
你这个人如果BasicSense好的话
你因为数据的辅助
可以帮助你做出更有价值
更正确的结论
本来你不知道很多东西
但是你现在能看到数据了
你做出更好的结论
按道理价值是变高了
这个也是有可能的
以前我们要靠人家
一些Sense的东西
但是现在这些举措可以自动化了
而且这些Machinery Model
因为它是一个没有感情的机器
就好像你这个AFAGO
下棋比这个科技下得好
它可能能做出来
一个更好的判断
确实也是
但是回过来
为什么会有一个disconnect
所谓有价值的人和买手
我觉得这不是一个同步的东西
买手他做的东西
其实还是一个比较
极限的判断
如果说你要把有价值的人
和这个对等起来的话
可能你说的是一个Fashion Designer
或者说是一个
Coco
Chanel这样的人
你是去set这个trend
这个settrend你可能很难用
机器学习来做
大家之前好像在说
让Netflix拍出更好的剧
但后来其实还是
编剧和导演可以让他
拍出更好的剧机器学习
其实并没有在这里发生特大作用
这个然后我觉得特别像
让我想起来以前一个观点
就是机器学习和Machinery只能让
机器更高效但是并不会
有更多的creative的work出来
创造性的那种作用
比如说你通过机器学习
你永远不可能造出iphone
因为现在的
机器学习大家如果
说到去理解的话
它就是一个
fitting machine
把一对X和Y给fit起来
找到他们的关系
当你给出一对X的时候
它可以告诉你一个Y
所有的机器学习上来都是干这件事情的
然后这件事情它可以自动化
可能可以比人干的判断的更好
但是很多东西
它不能无中生有
但可以无中生有但是它是
generic data
然后这位同学
我们下来关注这个问题
在越来越注重隐私的时代
获取数据越来越困难
如何未来能在没有
Ion数据的情况下
做dead scientist
这个隐私
就是隐私
跟dead scientist的数据的问题
我不知道Ion是什么东西
假设
说的是我们人的
关于人的数据
比如说现在的Pixel data
或者Cookie的这些东西
可能Cookie就是Ion的意思
广告当然会受影响
但是
广告不是数据
科学或者说
推荐算法和数据
科学不是等同的
很多这些东西最后是为了做推荐
是为了卖广告
但是我刚说的很多东西
就并不需要你去
知道这个人的
一些隐私的数据
这个是一
第二就是我觉得
就是隐私
算了,我没有什么
更好的答案了
这确实是个挑战
因为我在Facebook
所以说
Facebook就是遇到
这样的挑战才会去发展
电商,我觉得还是可以说一点
因为Cookie变少了
你卖广告就会
不够以前准
什么样的数据可以帮助你
提高你的准确度
又是合法的呢
就是电商数据
Facebook愿意去花很大的力气
去做电商的原因
这是一个质疑的问题
下一个问题是关于
在FB的
Data Analytics的时间分配是怎么样的
大概给个比例
比如说30%多长时间
写SK要多少时间跟NPM谈判
什么多长时间清理数据
这是一个
比较宽泛的问题吧
清理数据我把它和
SQL拼起来的话
我觉得我现在90%的时间在开会
是在跟领导
沟通还是跟PM沟通
很少跟PM沟通
因为
我在Data Works是一个Data Culture
非常强的地方
所以PM比较信任你
你不太需要跟PM沟通
PM不支持你
你在做分析的时候
我在做分析的时候
大概
60%的时候
SK、30%的时候
10%的Project要用派向跑一跑
如果不是在做分析的时候
当我在做出来分析的时候
我要去用分析
去drive这种impact
在这种情况下
第一你要socialize
你要拿feedback
然后你要去改
别人觉得信不信你你结论
别人还想知道什么东西
当你的分析已经做到好到
绝大多数人都相信的情况下
你还要去push
这些
或者说去influence
别人去implement你的结论
去做production
然后在这中间
而且在这个东西做之前你还要去跟很多人
去沟通
这个东西到底值不值得做
或者说其他人没有做过类似的东西
或者说其他人觉得你这个东西
除了你自己组别人还用beal
我觉得沟通和最后influence
是很重要的
很重要的环节
所以说真正
花在分析的时间可能现在
因为我前段时间分析已经分析完了
所以这段时间太多了
真正用来分析大概是30%
然后你想问题
决定什么问题
值得去被answer
和你去define这个问题
和最后你去用这个问题
其实
好
这两个问题都回答过了
这个成为一个数据科学家需要
什么条件需要读博士吗
最快需要多久
我觉得可以回答
后两个或者是多回答一下
需要一个什么条件
数据科学家需要什么条件
需要读博士
然后我觉得很多人从传统行业
跳到facebook比如说
他们有的时候会上一个data camp
就是那种三个月的data camp
这最快需要多久呢
就是说是一个master
然后还是说是
一分钟
大概就是三个月吧
data camp三个月
他已经可以给你足够的training
OK
还有个就是
现在的数据科学家面试
这个好像之前介绍过一下
孙伯介绍过facebook的面试是什么样子
然后可以我们再有个问题
是现在的工作机会多吗
就是数据科学家
我建议这种问题不要问我
就是你自己上网搜一下
去linkin然后去joking网上搜一下
你自然就有一个很确切的答案
我要回答你我也只能这么做
后面这一块
现在大家很多就说
想进入行业转
进入行业转
然后包括其他的
比如说什么统计行业
然后sde然后转
然后需要准备
什么东西这几个问题可以
综合起来然后就大概是这么
问题需要怎么准备
尤其是之前工作
有没有生产力和big data完全无干
好像回答过了
对
也回答过了
转行的人需要有什么准备
因为我自己不是展行的
我本科到现在都可以干
跟data相关的东西
对我来说可能会
要去
比如说我最近在亚马逊干的
都是用Python干的
我在亚马逊之前我都写个Python写得很少
我就去学写Python
然后在
亚马逊转
Facebook的时候就去学写SQL
这是技术上的东西
比起sde来说
就是R,Python,SQL
基本上就够了
而且type root也有帮助
就是这些东西你学会了
或者说熟练了
技术上就够了
剩下的就是你的统计知识
一定要扎实
你的概率统计
包括AV testing这些framework
你要很扎实
在剩下的我觉得很多都是
自动self skill就是你的分析能力
你的perfect sense是很重要的
转行的话
我觉得我不知道
我不知道你的工作
你的公司再加上你的经历
能不能让你过检历关
如果能过检历关的就是我刚说的那些
但是如果过不了检历关的话
我也不知道
因为我自己不是输入检历关的
好
下一个问题
这个问题问的
大数据分析是数据科学家的
领域吗
对数据科学家数据是怎么存储的
用database用什么database
这个问题问的太尽量了
可以孙伯然后稍微简单回答一下
取决于公司
你公司用什么就是用什么
比如说
你小的数据用
大数据就是用
starface
什么
不同
取决于你的使用场景和公司
公司太多了
OK
然后这个学历问题
我们之前说过了
现在是DA和business analysis的工作
怎么准备才能找到相关dead scientist的工作
这个问题
就说DA和BA
然后转到dead scientist这一块
我们准备
大部分都是问怎么转行的
就是
again
不同的公司
对dead scientist的定义
很不一样
所以说你就去看这个公司
他到底对dead scientist有什么要求
然后看看自己怎么样才能满足这个要求
但是我觉得有一个好处
就是你现在已经是DA和BA的工作了
你有很多接触这个
data的机会
对吧
你自己想你的
工作内容
在我接触的很多BA的工作内容
就是pm跟你说我要一个这个数
然后你给我把这个数取出来
但是你既然有机会接触到这么多数据的话
你有没有可能自己去做一个Ninety
有没有可能正常的一些insight呢
如果说
你有这个
经历的话
你能去这样做呢
你其实就已经是
一个dead scientist了
对
好
这还有几个问题
如何变成好的数据分析师
这个我觉得
太宽泛了
好的
如何变成好的数据分析师
善良
你这我没法评价
请问你为什么选择在
亚马逊
因为工作找在亚马逊
对
孙伯有没有补充
为什么选择在亚马逊
我从另外一个角度回答这个问题吧
我当时确实还是有一个选择的
就是BCG还是亚马逊
大家知道BCG就是那种
很精英的感觉
出差不要钱也挺好的
而且我觉得我挺涉足咨询的
但是去亚马逊就觉得
在科技
能学到更多的hard skill
我觉得我self skill其实
是可以了
但是在亚马逊我能接触到最新的
在大公司里面工作
第一是大公司工作第二是能学到
hard skill
然后第三可能是你在
这种大公司里面
你developed就是你认识的人也好
然后你接触的这些事情也好
对你自己的长期都是有帮助的
后来发现确实是这样子
所以说
亚马逊我觉得还是一个很好的公司
尤其他对
员工培养也挺好的
Facebook太快了导致我没有什么
自己培养自己的机会
这样应该是最后一个问题吧
刚才你提到Facebook
如果想合法做用户数据分析
所以做电商但是现有的数据
根据法律能分析到什么深度
比如以前有朋友在eBay
他们都不能拿
PayPal的数据进行分析
亚马逊应该也只能分析到一定
聚合级别的数据
这个问题问的比较
DETAIL了
这个问题问的很好但是我不知道能不能回答
我对公司
Policy这不是特别理解
如果说想问的话
到时候私下我去
看一下公司Policy能
说到什么程度
因为我们对DETA的
Policy挺严的
这个
自然是作为隐私
我们不能在这地方回答
公司Policy
还有一个
Facebook太快了是什么意思
是Log很重需要加班吗
我觉得孙伯说的不是这意思
应该是说它的Iteration太快了
对Iteration太快了
这样训的一个决定可能一个月
然后在Facebook是
几天之内就做
到一个周就要做
这个决定是Depends on Interfaces
分析
我经常遇到的这种
Demand是按小时算的
上午要一个
中午check out 晚上直接给
而且做出来的质量很高
就很快
还有两个问题
你Fullence的Starcode主要是指谁
会遇到Starcode不
buy in的情况吗
如果遇到不buy in的情况
请问如何convince
我有一个YouTube Channel
昨天晚上刚刚请了
亚马逊的一个Principal PM
他其实是Alexa Schalking
的BizTech Leader
然后来跟我们讲如何communicate
我觉得他回答这个问题
比我好很多
大家去看一下他的视频
可以稍后分享一下
然后我们发在群里面
刚刚讲的
SDE vs.
DevScientist
DevScientist也需要Python的coding
是不是Python会认为很容易
我觉得这个问题问的
对Python有误解
我觉得
不一定要说语言
但是我觉得SDE的coding
和DevScientist的coding完全是两种coding
我自己
初中和高中是新学校赛
也是拿全国一等奖
我对真正的coding了解一些
我觉得DevScientist
这种coding是一个
描述性的coding
它做的是一个统计的东西
它不需要去考虑什么
不太需要
不需要去考虑各种各样的
dev structure
各种各样的算法
你只需要告诉机器去干什么就行
这是一个描述性的东西
很多DevScientist根本就不知道
你怎么可以把这个面向对象变长
因为它需要定义一个一个的function
然后说你把这个评论数给我算出来
你把这个standard deviation给我算出来
然后去调用一下这个包
调包大家就知道
把这个东西输进输出来
输入一些东西
输出一些东西就行了
它和SDE的这种production coding
我觉得是完全两样东西
对我觉得孙博的讲的
这个出发点非常好
就说并不是Python本身很容易
这个决定了
这个难度
你Python也可以写出很复杂的
soft engineering
还有一个问题
你认为在Facebook作为DevScientist
遇到最大的challenges是什么
最大的收获和learning是什么
这两个其实是相同相成的
我稍稍share一下
自己personal一点的东西吧
其实我刚加入Facebook的时候
有段时间压力特别特别大
去年刚加入的时候
因为整个org改变也很大
然后visibility又特别高
正好是在holiday
然后是在holiday电商的时候
就是最重要的时候
反正就是各方面的压力
让我challenge很大
我在亚马逊
不管做的事情本身
impact是什么样子的
起码我自己是收获了很多成长
又可以学很多复杂的模型
然后亚马逊的economics
是一个非常非常好的community
大家会在一起
请外面的这个著名的学者
就是诺贝尔
跟我们讲最新的科技什么的
所以说在那儿
个人成长是非常非常快
又有自己的
project
自己的pace让自己出了算
在Facebook呢
别人让你干什么你要干
出了错还要被卖
大家就没有信任了
所以说当时是压力特别大
但是这种压力导致
我觉得
我去学的很快成长的很快
然后我现在回过头来看
那段压力反而是
一个
push我去不管是
怎么样去influence别人
怎么样去做出来
用更快的方式
去做更rigorous的
analysis
怎么样去communicate怎么样去present
包括数据可视化怎么做
像我之前就不是那么care数据可视化
我可能pixar上出了一个chart
然后一个table要不然就是duck
不会用各种各样的color
去做一些graph
就table然后让别人去读
你把这个东西duck写好就好了
但是你在Facebook你会发现大家
因为看position看多了
attention span就很短
你就要把这个chart做得特别特别清楚
然后你的story
你的message特别特别清楚
这些东西我觉得都是挺
最后
都是很好的learning
但是这些learning都是因为在那种
高压环境下才push我去学
好
下一个问题是
这个是之前在chart里面有人问的
你觉得考CFA
有用吗
你可以连任这个问题
我觉得一些dead scientist比较有效
一个一个来吧
好奇怪为什么会觉得考CFA
有用
为什么要
做dlc考CFA
刷dlc我当时就去
emu3d看了一些题
这个
比如说你推荐有没有
专门的网站刷
dead scientist的题
只有emu3d还有其他的
平台呢
我刷了sql
但是sql本身是一个特别特别
简单的东西
一个周两个周就
够了它没有那种
算法题如果你要去的是
infra或者是其他的
比如你是emue
那你要刷另外的题是另外一个事
就是我说的这种analytics
的ds的话我觉得反而是
这种project里面是比较值得
值得准备
OK
看来刷题不是dead scientist
最重要的一部分
相比
我们的software
engineer来说刷题基本上就
决定了你能不能进这个
你们刚刚也听了吗
我面试了四个roof
就是tech
quant、tech data和product sense
你
太平平大家
到这个程度都能过的
所以说其他三个
好最后一个问题
你所期望的个人
长远create path是怎么样的
比如三年或者五年后
财务自由退休了
我还希望
我自己刚看了一下
我还是
觉得我比较
我自己的motivation还是
产生impact
为什么我对现在的
roof还是挺满意的
我能
因为我的存在
而这个产品不一样了
而影响到更多人
说的better
这个是我比较想做的事情
所以三年后五年后我希望
对一个更大的产品有更大的影响
比如动云春这个事情我也不赚钱
我特别有兴趣去做
因为
做了这个事情大家就能更好
然后这个参观也能把他的updates做得更好
老板居然没有给你钱
我觉得这个太过分了
我还没有绿卡
我不能拿钱
这样
我以为
应该是可以直接然后给
部分补偿的
他cover了我的所有的成本
但是我并没有用这个赚钱
这个不公平
你这样的话
会把业界给败坏的
把业界给宠坏的
业界都说
以前有个人给我做一个平台不要钱
你们也给我做平台不要钱
但是
这个本身确实也不是
一个能赚钱的东西
餐馆如果我的
YouTube视频里面要讲餐馆的盈利
就是餐馆最后能拿到手的钱
不是很多
所以说
他能给你做这个网站
的钱也是非常有限的
只望这个
除非你做的特别特别大
但是你做的特别特别大
很多时候就是平台了
你从一个餐馆上赚的钱
未必能抵向你的利益成本
有兴趣我们可以聊这些
OK
好
今天的问题基本上都已经
回答完了
如果大家还有问题的话可以在我们的群里面
职业生涯规划
的那个
那些群里面然后进行提问
然后我会把它
转发给孙伯
或者是可以让孙伯直接在群里面
回答大家
今天非常感谢孙伯在板盘之中
然后出出这个时间来跟大家做这个
DeathSonics的分享
今天我们的分享就到此结束了
再次感谢孙伯来参加
我们的活动也谢谢各位
听众和观众然后在
电脑前在这种
疫情的时候也来参加我们的活动
好 谢谢大家 我们下周再见
拜拜