Subscribe
Share
Share
Embed
课代表立正的官方Podcast
深度访谈，有用干货，亲身验证的「真本事」
Superlinear Academy创始人，Maven Top AI Instructor
前Statsig布道师（OpenAI收购），腾讯副总监，Meta，Amazon；康奈尔经济学博士
社区：Superlinear.Academy
课程：ai-builders.com
个人：lizheng.ai
好了,我们结束了,感觉怎么样?
我觉得跟我想象的不太一样
大家好,今天很开心啊,终于找到了一个勇敢的小伙伴
和我一起把这个Product Sense的Mark Interview做出来了
Mark Interview其实是特别特别重要的一个环节
甚至比大家想的还要重要
因为你在准备面试的时候
Product Sense其实没有一个特别好的标准
去告诉你怎么准备
然后网上的那些面筋啊
其实是特别特别Misleading
这儿我放一个小伙伴看完的反馈
这位邹鑫同学现在是TikTok的数据科学家
然后他也是TikTok在北美这边的主力面试官
他之前在Airbnb啊,Facebook啊,Discover啊
都做过数据科学家
结果他说的东西我觉得非常认同啊
是网上这些面筋绝大多数的都是没过的人他抛的
所以说他其实是一个反向的selection bias
不光没有给你带来帮助还可能会带来误导
我这儿还有一个截图
就是另外一个小伙伴他看完了以后的反馈
就是视频里边暴露出来的这些问题
其实正是那些所谓的这个面筋
给你反复reinforce的这个不良习惯
比如说你觉得ideal特别重要
其实在interview的时候ideal根本不重要
怎么样子engage,怎么样子解决这个prolac问题
怎么样子keep conversational才是真正重要的事情
所以说我一直想做这个marketerview的视频
可是一直很难做
因为我的条件还蛮严苛的
就是你要真实的展现你的问题
然后我会一刀不剪
终于有一个勇敢的小伙伴接受了这个苛刻的条件
给你把这些东西展现给大家看
那谢谢他
这个视频挺长的
我看到我是分成了三段
第一段就是大概一个模拟一个30分钟的面试环境
我会提一些问题
然后这中间我会把我作为面试官的内心os
全都给放到这个视频上作为字幕打出来
大家也可以看到我作为面试官的时候是怎么想的
中间我会稍稍总结一下
就是总结一下我前面看到的所有问题
和我如果是我的话
我可能会想怎么样子去回答这个问题
但是继续注意
就是这个想法大家千万不要太过
就是大家不要纠结于想法
想法这个真的是次要的东西
但是你解剖析这个问题的思路才是重要的东西
之后就是我跟这位小伙伴
我们两个之间的交流和反馈
大家看了以后希望一方面可以看到
我们是怎样得出来需要提高的地方
另外一方面也是给大家做一个范例
就是如果你跟你的小伙伴做mark interview的时候
你应该大概得什么样的反馈
那好吧话不多说我们就开始吧
好的那开始吗你准备的怎么样
我过了一下这些case
然后大概有一个思路这个样
但是我不确定我的思路就是是不是
会考到的思路对
对随机应该嘛
mark的时候我用英文
然后我可能会稍稍的
就是凶一点
因为有的时候你面试官遇到比较友善的面试官
然后有的时候面遇到的
比较凶的面试官
然后凶的面试官有的人他会为了考察
你在stress下的这个反应
有的人他自己就觉得心情不好
但是你一开始用的这个会比较慌对吧
所以说我们就模拟一下
对
就是worst case scenario
OK好
嗨 welcome
等一下那个题就是你找的这个题
你大概是一个什么样的公司
是一个电商公司呢还是一个平台公司
是dowdash是一个平台公司
就是像uberse这样的
然后里面的这个职位是
data analytics还是DS analytics
我印象中是product analysis
但是我不是很确定
OK alright
Hello Anycorn
Welcome to dowdash
Yeah
Yeah so today
nice to meet you
Yeah today we are going to do a product analytics
a product sense interview right
so I'm going to give you a hypothetical scenario
about a product
and I'll ask you some questions
and I look forward to how you solve the problem
Yeah sounds good
Alright
so suppose there is a feature we are rolling out
the feature allow
so we are dowdash right
we have a lot of merchants on our platform
yeah
by rolling out a feature to give merchants
the ability to offer discounts
so the feature is going to be
like the merchant can just stop
like of course this is paid by the merchant
and they can choose to offer discounts
in a certain time
such as such as an hour
or maybe a day like
cause some like private day or whatever right
alright
do you have any questions
yeah I do have a question
about the product self
the feature itself
so for the feature are we
want to use the feature to attract
like new consumers to our app
or we are just mainly focusing
on our existing customer pool
alright
that is a very good question
so first of all this is going to be a feature
that we give to the merchants
and the merchants can choose to use it or not
and how much they use it is totally
up to the merchant
right
yeah got it
what do you think
like is it going to be mostly beneficial
for the new customer or
returning
yeah it actually depends on
whether we are going to
do some marketing
about our new features
if we're going to do some
like marketing campaigns
to our new features
it's probably
a way to
attract the new users
yeah we are not going to do
any marketing yet
we just want to test
if this feature is good or not
before we do any marketing
yeah so that is mainly
for our existing user pool
okay yeah
so yeah
at this stage you can assume
it's going to be rolled out
to our
existing
users
when I say users
I need to be
explicit
that is for merchants
right
yeah so
basically the user could be
divided to two parts
the first part is about merchant
we are going to see
whether the merchant is going to use
this feature or not
and second we are going to
pass it whether
this you this feature
this new feature are going to
increase merchants revenue
is basically
whether we have like new
customers
going to our app
going to our platform
to use this
like merchandise features
the marketing feature
and makes the order
so that's kind of
divided to part
okay
doesn't make sense to you
yeah thanks
I think it's a
it's very good
clarification
because we are
a two-sided market
right we run a marketplace
we have merchants
we have users
so yeah like
okay
there are going to be two sides
and we can
go into that
later but yeah
you can assume
on the both part
on both sides
is going to be mostly
for the returning
customers
whether it's
yeah
customer or merchant
okay so now
do you have any
other questions
yeah so
another question
I have in mind is
for the
merchand who are using
our marketing feature
are we going to
like
pick them
a special place
for this
merchant who are using
our feature right now
are we going to
promote this merchant
to our customers
or we are not
what do you mean promote
yeah so it's like
if we have feature
which is mainly
for merchant right
but are we going to
set up a place
for this like
promoting merchant
and show this
special to our
users our customers
to see
to let them know that
here are the major
merchand who are going to
market their stuff
are going to try it or not
you mean
where does the merchant
see this feature
is that a question
not yet
it's like
more likely to be the
if I download user
I'm user
download the app
I go to the
app system here
and I will see like the
promotion from
like my
the merchant who are using
market
markets the feature
for instance
if there is like
special place
for this
market merchant
to gather together
and let users
to know there is
discounts
applied on this merchant
okay
so there is
marketing inside the
platform
yeah
that is also
in our consideration
so first
we can allow merchant
to display discount
just in their
merchant page
right
and if this is
proven to be successful
we can also try to
build a
just a
traffic
module
on the
browse surface
to just
tell customers
to give customers a
list of merchants
right
but that is
dependent on the
success of the feature
on merchant data page
yeah
that makes sense
thank you for
clarification
all right
any other questions
that's just it
okay
so
now
like I just said
our first other question is
do merchants
use it
are merchants
interested in this
how do you understand
yeah
so basically we're
making the assumption that
if we're
providing the feature
as an option
for our merchant
the person
are more likely to use it
to roll up this features
so we could test
whether
the percentage of merchant
who are rolling
up or rolling out the feature
whether it
it is going to increase or not
and
the basic assumption
be some behind it
I believe is
the merchant are
do have the
do have the push
or do have the wish to
to apply the promotion
on their product
and in order to understand
this kind of wellness
we could go back to the
historical data
and see whether
merchant is
applying the promotion
on their own product or not
if we have
the sense of it
we could probably
could do the A-B testing
on our existing merchant
and see whether
the task group
are significantly
stronger than the control group
to roll up
roll out
roll out the features or not
that basically two ways
to understand
this
this kind of
demand and supply
all right
I have a couple of questions
first
yeah
why is this
let me finish
I think I'll ask two
and then you can answer one by one
the first question is
why is assumption
instead of a hypothesis
because that is my question
to you right
are merchants interest in this
and you just assumed
merchants are interest to this
but that is my hypothesis actually
the second question is
what do you mean by historical data
this is a new feature
we don't have any historical data
so what kind of
historical data are you looking for
yeah
so for the first question is
the hypothesis is
our merchant is going to
roll out our features
and
we want to understanding
whether the merchant has the
whether they have the need
to promote their product
so that is basically
what we want to know about it
and for historical data
I mean that we
can we count it back to the
before you answer
the second question
what was the first question again
or
yeah so
so I know you understood my question
what was my question
sure
your question is basically
whether the merchant die
merchants are going to
roll out our feature
are willing to
use this feature
my question is
my first question
right
the follow up
yeah
what you just said
is
I ask you a hypothesis
and ask you to prove
this hypothesis
or disprove this hypothesis
my question to you was
are merchants interested
in this feature
your first response to me is
let's assume
merchants are interested
in this feature
but you are not
answering my question
so
I'm asking why do you choose to
just assume that
instead of
testing the hypothesis
yeah
so
the initial thought
behind the hypothesis is
we think there is need
for the merchant side
to do the promotion
I don't think
like that is my question though
my question is
oh I see
if you interested
yeah
so
if we're going to
task this feature
we are
I do think that
merchants have the need
to promote their product
they would like to
task the features
and we could
we could dive deep
into our
data in other institutions
to see whether there is need
exists in our data set
for instance
before our
please go ahead
yeah
before we deep dive
into anything right
we need to make sure
yeah
answering my question
my question is
are merchants
interest
in this
do you know this
or do you not know this
I believe we could have
the hint or intuition
from our existing data
and
to answer this question
for instance
we could look back
into the historical data set
for instance
we could look at
the item price data set
in order to understand
whether at a certain point of time
we are seeing that
the price go up or down
and understand
whether the merchant
are doing promotion on their own
instead of using our system
and that
and I believe from that point of view
to understand
whether there are certain need
for instance
in certain days of week
or certain period of
over a year
there is need for merchant
to promote their product
I'm having a hard time
understanding
like from historical data
how can we see the merchant
is having promotion
can you give me kind of
scenario
like what is
from the data link to the
like
what special case
you see in the data
suggest that the merchant
is doing promotion on their own
yeah
for instance
we are platforms
we are allow the merchant
to set up price on their own
so that is our
how our system work
I assume that
and for
if I am merchant
I really
want to promote my product
I probably will
list my product
a lower price
if I'm going to promote it
for instance
if it is Christmas
and I want to price
the target a little bit lower
than expected
and that is one way
I could use the promotion
on my own
and we could see the trend
in our data set
to see whether the items price
are there's variations
or there is not
so you are looking for
price reduction in the system
and link that to promotion
right
yeah
but what if the merchant
is just adjusting the price
maybe they have a different cost
maybe they list their price too high
like they just want to adjust the cost
they don't want to do promotion
they didn't plan
like it wasn't a promotion
but they changed their price
are we just going to associate
price reduction to promotions
yeah so
I do think that
there is a different factors within it
but if we are looking for
the overall trend
we probably see
there is certain point of time
that we were expecting
there is an increase of job
in price
but we could also
using the user research
for instance
focus groups and
provide service to our merchants
in order to understand their needs
sorry
just give me a completely
different answer
but
did you
like
was our first answer
right or wrong
like can we look for promotion
intent from historical data
I do think we could because
let's try to
get answer to that
so before
like you were suggesting
we are looking for price reduction
in the data
to suggest promotions
is that the right part
yeah
can we repeat
question again
yeah so
your suggestion was
let's look for price reductions
by merchants
and
link that to promotion
and my question to you is
I don't think
all the price reduction
are promotions
yeah so
I think that we could take in
two different factors into consideration
and are using
some regression models
to get a read of
the potential drivers of
price reduction and guess
the
the relationship between
the promotion and
the price reduction
are you confident in the results
like
if you build a model
so suppose I give you
a week to build a model right
you build a model
and you tell me
from the historical data
that
this certain events
are promotions
are you confident in your results
because there is no way of knowing
right
yeah so
basically there is like
no way to verify
the relationships
and
so that is how does
the research coming
the users research coming
and we could verify it
according to the words research
which is answer
answer to it
and
and also
why do I do the model
at the first place
can I just do
research
instead of doing the model
yeah so
the we do
we did could
we really could just
you just spend a week
yeah just spent a week
building a model
and then you tell me
the model's
result is no use
and let's go to use a research
so what is our answer
to my question like
can
like
can I
can I not
get the promotion intent
from historical data
so the first
I do think that we could have
the promotion intent
from the historical data
also
our model is not only
for answering
the
whether or not
the merchandise is going to use
our promotion features
we are also
could find some features
of some patterns about
how the promotion varies
according to the time
according to the region
according to the countries
and this answers from our
model analysis
I don't understand this
like I don't even know like
your definition of the label
is correct
the definition is
price reduction
or some of the price reduction
is promotion
I don't think that's true
so how can I trust any
result from the model
if that's your underlying
assumption
yeah so that is how does
user research coming
we can use the answer
from user research to
I'm only looking for
a perfect solution here right
I'm looking for
yeah
I just want you to answer me
how to test my hypothesis
now you told me
a comprehensive model
I'm not sure if the model
can be correct
and now you tell me
to do user research
like what's my objective
here
my objective here
are merchants going to be
interested in this
promotion feature or not
right
and we already built
the picture
why do we need to spend
like a week building a
model and a week
doing user research
what's the purpose of
your suggestion
yeah so
what problem I have to
tell me here
yeah
yeah so I was under the
assumption that we have
not built up model
do build up feature
yeah so we would
understand whether
this feature makes sense
or not
and if we already
roll up our
puzzle measures
yeah
yeah let's pause a
minute
suppose
let's go to your
scenario right
because my scenario
is already built
the feature and
I'm testing it
let's go to your
scenario first
I haven't built
the feature yet
right just to help you
out of it
suppose I haven't
built the feature yet
and I'm trying
to size the
opportunity
now I have to go to
historic data
right
yeah
okay now how do
size the opportunity
so in order to
size opportunity
we would like to know
more about what kind of
present within our
merchants who are
willing to do
the promotion to use
our marketing
feature
so that could divide
into the two scenarios
we have discussed
before
the first one is
we can use the
historical data to see
the price change and
identify to isolate
the relationship between
the promotion and
price reduction
and that is the
that is first way
we could do that is
and second way
we could use the
focus group or
user research group
do that
before you
propose multiple way
we take your
recommendation as a
data product analyst
like our product
take your recommendation
very seriously
and we are going to
invest in our
resource
behind each of
your recommendation
so before you
propose multiple
ways of doing this
let's make sure one of
the recommendation
is correct
I think user
focus group is
definitely something
we can try
like we don't need to
discuss that
from a data perspective
I'm interested in
your first approach
what's your confidence
in your first approach
that if you build a
model
it can actually
tell me
how many merchants
are doing
promotions on
their own
like if the model
fail
how would it fail
yeah
so
I believe that
if the model
fail we do
we do make the
wrong assumption
to the features
and it would
lead us to
be a huge
cause about
launching features
which is not
useful to our
merchant
I'm talking about
like if you have
several hypotheses
going into this
model
what is the most
riskier assumption
that can make the
model
not
valid
yeah I believe that
let me give you
an example right
you talk about
price reduction
but promotion
how promotion works
is there is an
anchoring price
customers have the
perceived
value right
they have
anchor price
and then they have
a discounted price
so
what is the most
riskier
price
now they know
how much money they are
getting
that's a promotion
and sometimes it
creates a sense of
urgency
so the promotion
the discount promotes
customers to buy
it's not only
the price reduction
so for example
I'm selling the
product for $10
and now I'm giving you
a limited time offer
for $5
customers are
ready to buy this
but if I just reduce
the price for $5
customer wouldn't know
this is a deal
and they wouldn't buy
oh I see
from historical data
I'm seeing a big
discrepancy between
price reduction
and actual promotion
and that's actually
why we want to
build a feature
in the first place
the feature
like if you
if you think about the
feature
the feature is
giving merchant
ability to run
promotions
in a certain time
so why it has
the ability to do
anchor price
right
customers can't
perceive
the discount
and also it's
a limited time
so it creates
urgency
so suppose your model
add the best effort
fines like
1% of the merchants
had price reduction
facial criteria
of
like
what you think is
a promotion right
but I'm not sure
if that data is
any suggestion to me
because I don't think
that's a useful
promotion
like a useful promotion
has to have urgency
and has to have
reference price
now
I see
I see what you mean here
and I do think that
given that assumption in mind
with the user group
could be a more valid solution
to the
assess the merchant
and assess the market
and another thing
coming to my mind
is to see the bundle price
because we do see that
there are a lot of merchants
are using bundle price
in our
marketplace
and that could also be
a source of whether
the merchants
are using
the promotion or not
do you think that is the case
yeah
you are very obsessed
with sizing sorry
but I'm not actually
interested in the sizing
but sure
I mean
thank you for the discussion
the discussion is interesting
all right
let's go to my question
okay
my first question to you is
we built this feature right
we have this feature
and we want to test
the hypothesis
if merchants are interested
using our feature
yeah
how do you plan to test that
yeah so we do
we have about 5 minutes
go ahead
so if we are trying to test
whether a merchant
is interested in this feature or not
we could use
AB testing to do that
and our
initial like
the null hypothesis is
before we go to AB testing
why
it's because we have
already have the features
and we could
we are assuming that
the merchant
could
want to test this feature
what is the metrics
you plan to use
to signal
interest from the merchants
yeah
so basically we would like to
using the conversion rate
for instance
we will provide
a link
how many users
how many merchants
are clicked into the link
and converted
so that could be our
go matrix
in order to test this
kind of difference
and we could also use
the number of page views
in order to do
as our guardrail matrix
to protect our
pass from following wrong
so what is our A group and B group
is it gonna be our merchants
or our customers
I believe that is merchant
because we are going to test
whether merchant are
going to load our features
I'm sorry I need to
kind of rush through this
because you know
we have limited time
A group does it have
like what's the test
what is the test experience
for A group and for B group
yeah
so basically for A group
we provide an option
for the merchant
to promote their product
or not
and for B group
we could just
using the advertising
or other replacements
or just simply
do not provide this feature
okay so
your goal matrix
is conversion
but B group is not even offered
the option right
so how can B group
yeah so B group is basically
a typical link
or it's an ad
or it's a panel link
in order to see the difference
or we could use the
called to option
the text
but A group provide
a feature roll out page
and B group is just
please wait
we are still rolling out
the features
and that is two different
like testing
using A group testing
test out
yeah send the feature to 10K
like I don't know
like I thought this is
on merchant channel
but okay suppose
you are thinking about
like
in my mind
we are testing this feature
on merchant management
on merchant management portal
right
the merchant can go into the portal
and some of them
will see the feature
some of them will not
but suppose
we are talking about email
let's use that
and email is sent to
10K merchants
5K randomly
see the
see the feature
5K doesn't
yeah
so
test group A
will see the feature
test group B will not
or see a roll out page
what you are comparing now
suppose
the conversion
the open rate of that email
in each group is 10%
yeah
so we are going to
test that whether
the merchant
who are seeing the feature
click into it
are actually using it
convert it
but that is the
we are seeing the picture
how can you compare
what is the benchmark
so the benchmark is basically
so talking about
whether the patient
the merchant
are going to roll out
paste the feature
and the merchant conversion rate
we are talking about the page
the page is basically
have the call out button
and we are comparing
with how many merchants
are clicked into call out button
and roll out features
and how many
merchants are going to the page
as they do not click
into call out button
we are
or they are
click into the replacement button
and that is the two main thing
we are talking about
we are trying to compare it
against each other
and for the benchmark
we could just use our websites
help me understand
okay I'll give you
five extra minutes
just because
this is important question
yeah
so
merchant A
as you are saying
we send out
10K emails
5K goes to A
group A
5K goes to group B
group B
they both receive a link
group A
goes to some onboarding page
to this feature
or some
I don't know right
and group B goes to
an empty page
that says the feature is rolling out
please wait
is that true
okay
now what
what data are you looking at
for A
so
yeah
so if that is the case
we could use the
sorry that is no case right
did I understand that correctly
I'm trying to describe
what you are proposing
yeah
so basically
I was thinking about
what we are adding a page
to the link
the first page is
the option to roll out
and second page
we have been
an option of replacement
for instance we are
if the user click into the page
and we could ask them to
to take a survey
or we
to take on their
to write on their name
or we could use some replacement
instead of the extra roll out button
and we are comparing this to buttons
conversion rate
or as your case
we could definitely
compare the click rate
between these two different scenarios
okay suppose
group A
so I'm using two different buttons
suppose group A
yeah
they look
okay this is interesting
and they click into it
as group B
they look at the survey
the survey is not interesting
I don't click into it
did we validate our hypothesis
that this is a good feature
we can roll out
so that
that there is a difference
between the survey
and the actual features
and if that is the case
we could definitely
we could just
compare the click rate
so like how many users
are seeing our link
and click through it
and how many users
are saying
or do not just
don't click through it
so
comparing the click rate
of a button
is going to tell us
if this feature is interested
by the merchants
is that our final answer
yeah
alright
so we spend all the time
building this feature
we spend so much
engineering resource
building the feature
and you're telling me
a button
is going to
judge
whether this feature is good or not
yeah
I believe that
like we're not testing the feature
in general
we're just testing a button
yeah
so I do think
because our
like see very top hypothesis
is whether the merchandise
are looking for this feature
is mainly
whether the merchandise
merchants are
really interesting
to apply
promotion on their product
so that is our hypothesis
but we're going to test
that whether they're going to
use the promotion or not
in terms of the detailed features
we do have to set up
different tasks
and other to test
different functional features
but given that our
only the initial hypothesis
is whether the merchants
are interested in promotion
that is the hypothesis
so I think that
it's not my hypothesis
comparing the click rate
or conversion rate is
the question I asked you
is plain and simple
the question I asked you is
we build this feature
how can we know
if the merchant is interested
in this feature or not
the question
the answer you give to me
is let's do an A-B testing
let's test two buttons
one is a button
to enrolling this feature
another is a replacement button
and your proposal
for the replacement button
is a survey
I don't even know
if that's the right comparison
because like
how I put
on the replacement button
is going to vary a lot
like it's going to
it's going to decide
determine the click rate
of Group B a lot
suppose I put a link
for a $10 coupon
a lot of people
are going to click into that
if I place just a blank button
not many people
are clicking into that
so suppose
if the Group A
the click rate of the button
is 20%
what do I know
20% of people
are interested in this feature
what do I know
I don't know anything
about the quality of the feature
I don't know anything
about the retention of the feature
I don't know anything about
I don't trust
that answer basically
sorry
yeah
okay in terms of the
I give you the feedback
you have two minutes
do you have any other
edit follow up
follow up questions
yeah I mean
you have two minutes
what do you want to say
yeah
so
because I was under the impression
that we are going to
test the features
and the main hypothesis
is whether the merchants
are looking into the promotion or not
so if we're trying to
dip dive into the feature functionality
and features retention rate
we do have
we do could set up different tasks
in order to test that
and it includes like A-B tasks
we could do any focus group tasks
we could do user research tasks
in order to understand better
about the feature
and functionality
and we could choose different
majors for it
and that is my like
overall solution to this answer
thank you
all right
thank you for your time
好的
刚才就是这场面试的全贸了
在我看来这算是一个
比较翻车的这个面试吧
但是大家也看到了
就是这个候选人
其实技术能力是蛮强的
而且他全程
沟通也蛮清楚
有的时候也是能take hint
然后能有反馈
又在我的这个
非常高的这个压力之下
保持了一个非常职业的态度
但是为什么
最后还导致出现了
这样这些问题呢
就是被我带到了坑里边
然后很难翻回来
在我看来是有两个
特别特别大的问题
其实这个问题
我在前面那一期视频
开放式问题怎么答
里边也有一个详细的阐述
大家有空
可以再去翻一下那个视频
这两个问题其实是这个
完全相关的
就是技术上的那些
我们一会再讲
这两个问题
就是原则的问题
第一就是你没有从
解决产品的这个问题出发
而是以把这个
把这个面试
当成一个考察
知识点的面试
Product Sense
他之所以会出这个问题呢
面试官就是为了考察
未来的同事
他希望你
作为一个Data Scientist
或者是这个
Product Analytics也好
你可以通过数据
去找到这个产品的问题
验证一些我们关键的假设
来帮助我们
对这个产品做一些决定
但是这个面试者
他就把这个看成了
一个考察知识的东西
所以说他很多这个回答
是纠结于在某个知识点
而不是纠结于怎么样子
可以把这个产品问题
可以最好的回答产品问题
这个是一
第二个呢
就是没有Conversational
这个没有Conversational
就是很多人看面经以后
被带来的最大的误区
所谓Conversational
就是当你在问了
这个面试官一个问题
面试官在给你回了以后
你应该是回答一个东西之后
你就停下来
然后就是可以看看面试官的反应
或者说就比如说
当你觉得这个问题
有很多种回答方式的时候呢
你可以先说
我可不可以
就是要数秒的时间
或者20秒的时间来想一想
然后想了以后呢
把你所有的这些东西
把你所有的想法给列出来
然后问面试官
你看我这些想法对不对
我们要不要点一个来Dip Dive
这个时候面试官
他就会挑一个他最这个
他最感兴趣的
或者觉得最想问下去的东西
去让你Dip Dive
这其实是一个小技巧啊
但是这个小技巧背后的
背后的理念就是
你一定要Keep it conversational
我在面试的
我在那个视频的
就是我在前面的那段视频里边
有专门点出来一些点是吧
就是那个时候我作为面试官
已经觉得这个回答我不喜欢
我希望把这个回答给改变一下方向
但是面试者
他纠结于把自己的这个话说完
而没有给我这个机会
这在我看来
对面试者是非常吃亏的
那其他的一些小的技术方面的问题啊
就比如说hypothesis testing
是不是就是A B testing
不是的
这个又是一个面经给你带来的误区
就是不是所有的hypothesis testing
hypothesis
不是所有的hypothesis testing
都是这个A B testing的
在这个题语里面
我也会说一下我的思路
就是我觉得test这个hypothesis
不应该用这个A B testing
这是我的一个想法
再就有比如说
他在说这个怎么样子用数据去size
但是并没有想清楚
在我challenge了以后呢
他没有想着去把这个东西给讲清楚
而是又去了user survey
但是user survey其实又有很多很多的坑
那这个整个就是越带越偏
越带越偏对吧
就是给自己挖了很多的坑
其实这些东西都是可以避免的
和我在这个视频里边也有讲过
前面那个视频的comments有讲过
hypothesis testing
其实是一个更简单的问题
sizing是一个更难的问题
因为没有很好的conversational
导致就是自己在自己的思路上
越走越远越走越偏
最后就被带进了一个更难的问题上去
最后再讲一下我面对这一个问题的思路吧
这个问题就是door dash的问题是吧
他说我shipped了一个feature
我现在在runpub一个feature
然后我要去有一个hypothesis是说
商家到底喜不喜欢他
我可能先问一下
就是比如说这个feature长什么样子
在什么地方被这个seller看到
然后我们现在肯定关心的是seller方面的问题
是吧就是seller到底喜不喜欢
因为之后你可能对seller到底有没有产生value
然后你对eco system到底有什么样的影响
那个是之后才能再问的问题
你首先第一步如果seller不喜欢的话
那其他的东西没有用对吧
你一个不喜欢的feature
没人用的feature怎么能产生impact
然后关于seller是不是喜欢
我可能就会说我们能不能看adoption rate
或者这个feature retention
这个feature retention就是可能我一开始会用repeated usage吧
就是你比如说你100个人offer了这个
然后可能80个人去使用了
那接下来这80个人去使用的里边
到底大家是逐渐越来越少
比如说第一次80第二次60第三次40
最后就10没有了
这个它是一个decreased retention
还是它是一个flatten retention
就是80个人用了可能变成60个
然后但是就停在60个了
这60个人觉得挺好用的
就一直会用它对吧
那当然adoption
它到底adoption80%还是20%
那你就要跟你当时做size的时候的一个benchmark
去做一下比较
就是当时你size
你说我这个feature我想做
因为我觉得它的adoption可能是多少
那我现在我看一下我的adoption
是不是符合当时的预期
如果不符合的话
到底是因为这个feature本身做得不够好
还是这个feature确实对这个商户不够valuable
对商户是不是足够valuable
这个时候我们也可以用AV testing去看
比如说去看一下我这个随机offer给一些商户
不offer给另外一些商户
那他们的这个
他们的customer engagement
他们的revenue在before after变化
是不是你offer了以后
他一开始在做这个deal的期间
他的profit变少了
但是他长期来说增加了retention
增加了他的customer retention
最后导致他的revenue可以上升了
这个话题就更复杂了
我们先不展开就聊这个话题
但是总之你要先把你的思路给面试官看到
而且在这过程中
你看我刚才其实是说的所有话里边
都有很多condition
都有很多假设的
那我也会不断的就是用这些东西
去跟面试官go back and forth
这本搜新有一些非常好的例子
我就把这个放到极品上
大家可以看一下
好的
这就是我大概的总结
那接下来大概剩下的一段时间
就是我在面试完之后
直接跟这个面试者的
直接反馈
就是我们在沟通的过程中
其实我才发现
有一些东西我是作为面试官
没有表达清楚的
这应该是面试者去get clarification的
比如说我
我给他的一个feedback是
hypothesis和assumption的区别是什么
就比如说我要test hypothesis
这些用户到底喜不喜欢这个feature
但是他直接assume这些用户
喜欢这个feature
我觉得是问题
但是他可能没有听懂这个的区别
那这个时候其实有必要去跟面试官
搞清楚你到底有没有听懂
有的时候你可能也需要去rephrase这个question
然后去make sure你是answer the right question
那好的
我们就继续看下面这段吧
好了
我们结束了
感觉怎么样
我觉得跟我想象的不太一样
其实这个logic和你的follow up
和我想象中他的follow up
其实可能会不太一样
还有可能ab test
我其实说了三四遍
但是你都没有走到我的思路上来
就是
我可以给你下这个段
我没有太明白
我记下来的这个思路
先能给你说一下吧
我先说几个关于content的思路
再说几个关于这个具体
好
关于content的思路
其实
我这个问题一开始问的是
我们现在
就是
一开始我觉得讲的还是挺清楚的
就是我们有这个东西了
然后我们想看一下merchant
到底是不是喜欢这个东西
我
你怎么看呢
对 我就是想说
就是看这个merchant
到底喜不喜欢这个东西
难道就
不就是historical data和user research去看吗
因为我们
没有
就是有这个
如果说这个东西他没有做的话
我先回去给你做一个
就是
就第一个feedback是一定要先听
先听清楚问题
我在这个回来的过程中
你如果回去看interview的话
就是你回去自己看一下的话
你应该会看出来
很多地方我是预言又止
因为你说的太多了
就是我其实我已经
知道你说的东西不对了
我想纠正你
然后或者说我想告诉你我的思路是什么
但是你没有给我这样的机会
于是我只要听下去
然后就看你越做越多
最后我就要选择
我到底是一开始跟你说
你刚刚说的东西全都是我不想听的
还是我就着你的思路继续问
但是我听到你说的东西里边
要么是有漏洞
要么是有一些东西没有说清楚
然后我就就着你的思路说下去了
其实就比我一开始问的问题越来越远
而且这里边就是你把你自己带到了一个非常不好的地方
是什么
就是你要做sizing
sizing一般是比这个做actual hypothesis testing
难十倍
就是sizing这里边太多不确定性
然后你size一个没有出现过的new feature
这里边的assumption很多东西都是会被
非常严的challenge的
就比如说
我在一开始就忍住说的东西
但是后来我跟你说了
就是你用这个price reduction去size你的promotion
这根本就不是一个成立的assumption
早就看来
就是promotion之所以是promotion
就是因为它不是price reduction
如果price reduction就是promotion的话
我们还有promotion干嘛
我们直接就给
就现在已经有这个能力了
商户已经可以做price reduction了
他们就不需要做promotion了
我觉得是这样的
就是
我就觉得
如果说
因为如果说这个feature没有roll out的话
我们如果这个feature已经有了
我们就不存在去test merchant
会不会去roll out这个问题
就是因为我们相信
会有这个feature的原因
是因为我们相信它会用
我们不知道
我们觉得
这个是在做公司产品的时候
一个非常常见的东西
就是
这个东西我们做了
是因为我们不知道
我们觉得它可能会有用
比如说我们做了sizing是吧
假设有一个data scientist
做了sizing
然后说这个东西商户会用
然后我们做了focus group
我们做了你说的所有东西
然后我们现在觉得会用吗
它做出来了
我们做出来以后
第一件事是干嘛
不是应该去看一下
商户是不是真的会用吗
如果商户真的
就是我觉得这可能是一个思路问题
或者说是这个工作习惯
如果可能你在之前的公司里边
是这个东西做出来了
如果商户
就是做出来以后我们就不管了
做出来了以后
浪迟了
然后我们就不管这个东西是不是好用
但是如果一个正确的工作思路的话
就是这个东西做出来的第一件事
就是说我们做出来这个东西
到底是不是真的有用
因为很多东西
其实在之前都是建立在假设之上的
然后建立或者说建立在
hypothesis之上的
那你做出来的时候
是你
最应该去验证这些hypothesis的
机会
OK
I see
所以我问这个所有问题的背后的
这个动机就是说
我这东西做出来了
现在我要来测试一下商户
到底是不是真的想用它
如果真的想用它
我把它这个想办法用到更多的地方上
如果不是真的想用它的话
我就把它干掉
我们就把它撤回
所以就是说就在feature
在setup之前我们就会去
我就feature setup之后
我们其实就会去猜
他到底是不会真的想用它
对
然后
因为之前你开始问我
一直在追问我的一个问题
就是说你开始第一个follow up
是这个feature到底会不会
被商户使用
那我就觉得是我们的hypothesis
就是说这个feature会被商户使用
我们想去看一下
这个hypothesis到底是对还是不对
对
这个为什么不对呢
这个思路
这个思路是对的
但是你接下来的问题
为什么我之前说的是这个
我之前就说了
然后我说了说第一个是可以
对就是一个比较小的feedback
就是你的回答是
哦
我们的assumption
而不是我们的hypothesis
hypothesis和assumption其实是有非常大的不一样的
哦
明白了
就是我问你的问题
嗯
就是两个
就是我给你直接的两个问题
嗯
第一个就是
我说这个明明是我的hypothesis
就是我做的所有的数据的工作
都是围绕hypothesis
来确定这个hypothesis到底是还是不是
是的话我们做什么
不是的话做什么
assumption就是直接我们配用
然后在这个基础之上
我们再去test下来的东西
这是一个非常大的事
哦
哦明白了
这可能是这个词
我自己就是理解
不是特别好
可能就是
hypothesis应该我应该说hypothesis
不应该说assumption
对
如果现在我们回到hypothesis以后呢
就是这就是
这可能就是我觉得最大的feedback是
你可能对这个整个的工作流程
有一个不一样的印象
就是在我心中的工作流程是
我们做了sizing
我们做了opportunity
我们做了research
然后我们决定决定
就是值得
我们把这个东西做出来了
这个时候我们在test我们的hypothesis
哦
test我们之前的那些所谓的hypothesis
到底用户们是不是喜欢这个东西
哦
我明白了
但是你
我不知道是不是你之前的工作的这个
习惯或者说大家工作的思路
就是你在你在做这个
你是做了所有的sizing之前
然后开始做这个feature
once feature is launched
然后你就不管了
就是你不会再去revisiting the hypothesis
其实也不是
就是我的理解是这样的
就是你你首先有一个idea
就是说我想roll out这个feature
我觉得会有这个可能性
那我们首先要用historical data
去test你这个idea
然后我们再就再build up feature
然后再去看他的hypothesis testing
我是这样一个思路
就是我一开始你的问题
我以为是在最开始的思路
我有这个idea
我怎么test这个idea的阶段
嗯
一般大家问的都是在这里
就是不是在一开始
不是在后面是吗
不会在一开始
这个feature已经做好了
因为为什么呢
就是我说的这个所谓的sizing太art了
然后你对对面视角不是很友好
因为你的所有的assumption
因为你作为一个外
就是那个行业外的人
你很多assumption不是错的
最后我test的是你的art的部分
而不是你的scientific的部分
ok i see
明白了
其实都是咱们就case大部分
其实都是说我product roll out了
我怎么去test这个问题
我见到的大多数都是这样子
就不是product roll out的
是我product正在roll out的前页
我已经有
正在roll out
对
然后我要决定到底这个东西好还是不好
这个是一个值得问的问题
而sizing这个东西我觉得很难
他问你怎么sizing一般都很难
这是第一个
然后你的我们现在假设
我们不要再讲这个到底是前面还是后面
我们就说这是后面
然后我们这个我给了你大概三次的feedback
我说把这个东西里面到后面来
然后你后面也开始把这个答案放到这里了
以后你的第一个proposal是ap testing
对吗
是
对
然后你testing是一个好的
就是在我听来你的ap testing答案是错的
不是这个东西不应该用ap testing
但是你设计的ap testing在我看来是错的
因为你的b根本就没有a的experience
就是你去比较a和b
你比较的
如果说你比较的话
你可能会比较给了a或者给了b
他们的success他们的retention
或者说他们的revenue这些东西会有什么差别
这个东西是你这个feature
ultimately的long term impact on merchants
但是你比较的是feature adoption rate
between a and b
但是这个feature是只给了a没有给b
那你在这个情况下
a和b是不可能比较feature adoption的
我觉得这个问题就是到之前咱们的
hypothesis这件事情上
因为我觉得首先如果说我们想比较long term的
就是user churn rate retention rate这些这些rate的话
我们应该比较的是feature success or not
而不是说the merchant is going to use this promotion
就是他们会我觉得hypothesis其实是有问题的
如果说我们想比较retention
我给你说一下我的思路是什么
我的思路是我第一个我就会看feature adoption
而且我不会说基于ap testing和feature adoption
我就是说看feature adoption
比如说我们之前我甚至可以问他
我们在做这个feature之前有没有一个sizing
然后我们有没有一个user research
然后如果是带来的
我们expect他的success是什么
我们except多少购买会adoption
如果说他想说我们都不需要
因为你当时给我的这个就是那个background的时候
他说我应该是直接roll out给所有merchants
我直接offer to all merchants
都没有一个adoption的过程
我看到了你给我的题的时候我的想法是
就是我脑海中不是说我给你一个link
然后你点了这个link你可以adopt
而是所有的door dash的商家他都有一个管理系统
然后他直接把这个东西放到这个管理系统
你可以选择使用它你可以选择不使用它
那这样的话就没有我task和control了吧
我不是我的意思
你是意思就是不offer是吗
我的意思就是说
就是我看我比如说像我说的那个情景之下
那我就看在这个页面上有多少人会去点这个
有多少商家会去点这个功能
有多少商家点了这个功能
会去真的setup然后使用它
然后这个东西和我们一开始在design这个feature的expectation
是不是一样的
比如说我们当时在setup这个feature的时候
在做这个feature之前
我们在setup这个feature的时候
在做这个feature之前
我们在setup这个feature的时候
我们就应该给出来这个东西的success signal是什么
有多少人会去点它
有多少人会去真的使用它
然后我们现在真实看到了
和我们当时的expectation有什么区别
这个是一
然后对于一个任何新feature来说
最大的indicator我觉得就是repeated usage
就是当一个用户按用了之后
有百分之百多少会repeated使用
是不是有的人就是使用了一次
然后就再也不使用了
比如说百分之八十的人使用一次才不使用
那这个feature可能就是有问题
如果说而且它的retention如果是不断下降的话
就说明这个feature最终是不被欢迎的
所有的这些东西都不需要re-testing
对吧
嗯
是
然后真正需要re-testing的问题说
嗯
我就是我还是对于
hypothesis还是有一点疑问
因为hypothesis就是merchandise
whether they're going to
promote their product
他们会不会想用这个promotion feature or not
那如果他会不会想用的话
就是说你给他一个option
他会用还是他
你给他一个replacement他不用
我觉得这个其实是想要我们带走的东西
我觉得你说这些都make sense
但这可能是更related to the feature success
你会不会lunch这个feature
而不是就是我们一开始的那个assumption
那个hypothesis
我个人是这个感觉
我听到的这个
我现在说我现在说我这个东西offer给了merchandise
然后
我先说两个事情
我先说后面这个
就是
然后太纠结于具体问题
然后纠结于这个东西到底是为了干嘛
我作为一个面试官
我问你问题是干嘛
我是想或者说我作为一个产品经理
我问你一个data scientist或者说PA
这个问题是干嘛
我就是为了知道这个东西到底可不可以lunch
我去问你一个具体的hypothesis
纠结于你一个这个问题就没有任何意义
我所有的这个问题最后都是为了
帮助我知道这个feature到底可不可以lunch
所以说这个才是所有product sense问题的
最终问你的东西
如果他的hypothesis不能帮助我回答这个问题的话
那这个hypothesis就是没有意义的
我考了你我说考你product sense的问题
不是考的technical detail
而是考的product sense
product sense是什么
就是这个product到底是什么是来成功的product
和不成功的product
你怎么从数据里边发现这件事情
啊
对吧
我大概有点明白了
就是说其实他的
不要去这个这个问的问题
啊明白
不可能更多就说这个要不要roll out要不要lunch
这个其实是他的核心
就是你要从工作的角度去考虑一个问题
而不是去从解题的问题角度去考虑一个问题
所有的人问你这个问题
最后都是为了工作
就是这个东西到底好而不好
行了我觉得这个已经说明白了
第二就回到你前面说的这个
假设它不可能这个feature的adoption rate是100%
也不可能是0%
你做什么东西都会有adoption rate
那你现在做一个testing
就是你最后的这个所谓的hypothesis
他test的是什么呢
他test的是不是足够多的人愿意adopt
嗯
如果他是0%的话
ok我们也不用看了
就肯定不会做了
如果是100%的话
那我们也要看一些其他东西
会不会是100%的人adopt第一次
然后0%的人adopt第二次
嗯
所以我觉得就是你要想这个
就是你如果把特别多的想法
纠结在解题上的话
那你这个题最后出来的
因为你现实情况是什么
现实情况可能是30%的人adopt
然后或者60%的人adopt
然后在这种情况下
有可能80%人return
和20%人return
那分别代表了什么
最后我们怎么样子在这些不同的情况下做决定
然后最后我们的assess是什么
其实我背后
我们因为纠结在第一个问题上纠结了太久
最后所有的问题都没有问你
就是比如说AV testing
我们AV testing应该是什么
应该test是
就是我们可能在
在merchant那边要set up AV testing
然后在user还要set up AV testing
对我之前就想到是你会问这个问题
所以我主要是思维是这个
说AV testing on merchant as user这样子
然后我的AV testing
我就直接把这个东西讲一下
就是我想AV testing on merchant
就是看merchant success
对吧
你offer这个feature
merchant不offer这个feature
是不是offer这个feature的merchant
都会更加successful
在我们不给大家更多的traffic基础之上
那在user这呢
是同样一个merchant
有的人见到的这个offer
有的人没有见到
那是不是见到这个offer
他更容易engagement
他engagement更好
或者commercial更好
然后他能够更好
对吧
如果说我们最后证明了
有了看到这个discount的这些人
更就是在我们user上来说是更好的
然后如果我们这些user的所有的engagement
retention conversion
会导致我们eco system变得更好
我们也考虑可以把一些traffic shift
给有这个enable这些feature的merchant
然后比如说这个deal discover page之类的
就是你一开始说的那些东西
就是你一开始问了一个很好的问题
但是这个是hide behind so many layers
然后当我问你第一个
hypothesis testing的时候
你就纠结到了这一个点
然后结果最后把这个问题拉到
一个更难回答的东西上
就是sizing上
然后你的这个sizing你也看到了吗
就是有太多问题是很难回答
所以说就是我觉得这就是我
Mock很多次大家容易犯的错误
就是大家还是一个解题的思路
而不是一个做产品的思路
你要想回答好product sense的问题
一定要有一个做产品的思路
是我觉得make sense就是说
我们可能关注的就是说
怎么去做产品而不是说我真的把
那AV test所有的东西都讲下来
我可能之前的思路想说
就是你当然你的scientific
的approach是可以帮助你更好地做产品的
但是我觉得第一个我问你的问题
就是are merchants interested in this feature
什么问题是重要的
就是你用AV testing的话
你就是说merchant和这个东西的click
through rate versus一个
其他东西的click through rate比较
这个比较不是我问的那个问题
我问的问题是merchant
到底觉不觉得这个东西有用
所以说我看这个的
明白吗
我不是说它relative to replacement button
或者说怎样
我明白了
就是你想看的其实是更
更偏product
比如说我用了这个东西
我会不会再用这个东西
才表示我喜不喜欢这个东西
它对我有没有用
而不是说我就是说他设计一个test
然后就比较简单的case说
我click on node
这样的convert on node这个问题
就是你那个test设计出来了以后告诉我了什么
告诉我了
就是这样一个message比一个replacement
button让大家click into更多
首先你本身就已经build out so many assumptions
就是你已经假设了一个这个feature
是怎么样子launch的
或者说你这个test是怎么rand
比如说你假设都是一个email一个link
我们能不能send这个你要都不知道
就是对吧
就你在这么多的假设之上
然后又回答了一个
在我看来不是很relevant的问题
这个问题回答完了以后
我对这个feature
我能做出任何决定吗
不能你想想我问这个问题
是为了要对这个feature做出一个解决的
ok
我ok知道了
好难
我觉得就是这就是maps的
就是你大概体会一下自己的思路和那个
就是真的考perlac sense的
他考察的是你的什么思路
我觉得搞清楚这个
我相信你的technical其实都没有问题
但是还有就是一些小的feedback
就是除了这个
就是你要在回答问题的时候
你不要一下子回答三个问题
或者说一个人给了你一个问题以后
你要先就是这个就是总分总的这种形式
你要先说一个总的
然后当你确认了这个总的就好
然后你再分开说
如果你上来一下来
他进入了三个solution
然后三个solution你拍完拍成都说出来了
那当你这个方向错的时候
我根本没有机会去纠正你
而且我也没有
就是你的这个面试的过程中
应该尽量keep it conversational
你能让面试官有及时
我觉得这个好难
就keep it conversational
这件事情我觉得就是一个很难的事情
特别是包括写code
包括聊product
keep it conversational
我觉得这个是挺难的
就是你的表达方式
你要想的是我是一个小白
你是一个大牛
你来给我解释这件事
我是一个产品经理
也是个数据科学家
我相信你要给我解释这件事
那你就应该是
你怎么当你给我解释这件事情的时候
你就先说
就是这个技巧就是总分总
就是你要先跟我说
你做这个事情
你到底是要回答什么问题
你why
然后你解决这个的意义是什么
为什么你的答案到时候
可以解决我的这个问题
然后你在dp.me2号
对吧
比如说我问你一个问题
然后我问你怎么样的size
你瞬间就说我们可以做一个model
然后blabla
然后我们可以做一个user research
blabla
那我就model里面so many questions
然后你一下子已经进了user research了
就是我没有办法
你没有给我时间让我问我的问题
所以说你要先
可能技巧就是说
你先repeat一下我的question
然后确定你是不是听懂了我的question
我们两个是不是在回答同一个问题
确定在回答同一个问题的基础之上
然后你再说
我觉得有什么样的方法
可以回答你的问题
然后我觉得这几个方法中
我最推荐哪一个
然后我们可以deep dive into这个方法
我我我
就是有感觉
我其实有感觉
我可能回答问题的时候确实会pretend
就是
嗯
就是会有这样的情况
这样的倾向
我感觉到
是nullis对吧
你是为了
就是engage你的audience
然后你要解决问题
然后你解决问题的时候
关键是你要convince
它你的东西是对的
你想说of knowledge没问题
你在说我们有不同的解决方法
是的时候你可以说
但是你一定要说
当然了我们这里边
我最推荐的是一个
你就focus在一个上去答
他如果这个时候想
而且你要就是你要说话的时候
engage什么就是我们
你觉得你觉得怎么样
对吧
那他如果觉得我更
我更想听另外一个
或者说我有问题
我觉得我不觉得你这个东西
是最后的最后的recommendation
我会继续问
为什么你要recommend这个
就是给别人一个
我信你
不懂
所以
回答
这样这样
合理
其他的
哦
而且在你一开始问的那个question
另外一个小的就是
我觉得那个question
嗯
没有问到点子上
哦
对
你觉得什么是问到点子上的问题啊
首先你的question已经问了10分钟
我觉得我回答完你的question
呃
我想想为什么没有问到点子上啊
就是我这是笔记
但是我具体往往要先想一下
就是啊
问这个question
你
你是impose了一个solution
其实
就是
因为因为因为我
我现在给你描述了一个场景
是吧
这个场景可能有些地方
嗯
不够清楚
你应该把这个
就是需要回答你问题的东西
读清楚
但是你给我问的问题
比如说
我们是把它放在了一个
放在了这个
怎么就是
我们是怎么discover的
嗯
就是到底是在merchant page
还是在一个overall的page上
我觉得这个问题就是你看吗
就是刚刚不是说了吗
这个是在so many
呃
different steps afterwards
就是你问了这个问题
也许最后对回答这个
这个事情是有帮助的
但是
我们还没有回答最最最基本的问题呢
最最最基本的问题
你可能你
你应该问的是什么
你应该问的是这个feature是不是已经做好了
我们是不是已经ready to launch了
然后他到底是怎么样子offer给merchant的
是我们发一个invitation呢
还是应该
这个才是我们有一个merchant这个portal
然后是可以让大家进到
去看的
嗯
就是所有的这些最后都对你中间回答很多问题
有非常非常重要的这个影响
但是你都没有问
而你问的是一个
嗯
很远的东西
或者说你在user这
就是在customer这边是怎么
他们是怎么看到
我们有没有做一笔testing的能力
然后我们现在
对吧
就是这有很多问题可以问
嗯
但是问的问题是一个
嗯就是
嗯
明白就是一个很远的很远的问题
对
嗯
说很后面
ok
因为我可能就就直接假设说我所有feature都可以abtesting
然后我可能就就已经assume它
是这样子了
其实我应该去
就是可以assume
不是所有的abtesting都是有意义的
也不是所有的hypothesis都应该用abtesting去回答
哦
ok
嗯明白
我觉得很make sense
不好意思
在那个面试的时候
实在是有点凶
但是我觉得没事
其实你的抗认能力还是很好的
就是我一直在
就是我后面已经非常不客气了
但是你还是能保持一个礼貌的态度
我觉得这个非常好
还有
这是
没有没有
我觉得
咋说呢
我是觉得
我在我看case的时候
包括我自己面case的时候
我可能脑子里有有一些东西
我想说
比如说abtesting
我想说我就会说这个
因为我觉得它会dive into the details
其实不会
我会把它认为成一个
问technical的
就是在一个background面问technical的interview
其实不是什么
就是你说的这些
你要首先你要准备所有的东西
对吧
就是你不能说你准备了什么
然后就期望面试官问他什么东西
然后你准备了这么多武器之后
面试官问你什么问题
你才能选到
适合回答这个问题的方法
去回答这个问题
你不能去
这不是一个考方法的
这是考problem solving的一个面试
所以说你要去找一个适合回答这个方法
适合解决这个问题的方法
而不是你拿这个锤子
然后你就希望面试官
就好给你
就递上一个钉子
你去砸他就吧
如果面试官给了你一个螺丝钉
你应该用螺丝刀
而不是用锤子去砸
对
但我觉得其实我自己准备的时候
就没太多办法去准备到这一块
就是你觉得有什么办法会
跟提高这方面的能力吗
就是比较好的solution
其实能力方面我觉得没有问题
就是难道你不会看adoption吗
你不会看retention吗
你都会对吧
只不过就是你可能有一个心态
就是我急于去把这个东西引到AV testing上
在我看来就是一个不好的solution
就是不一定你需要
对吧
就是你还是就是
给自己的视频打一个广告
方式问起来
对吧
就是
对吧
就是你要
你要去回答问题
我不知道怎么再怎么说
就是你不要去
就是它不是考你知识点
就是考你解决问题
我看
嗯
就是我的感觉就是说我其实想不到
就我没有想到这样
这样的一个思路
就是我理解你的思路
其实很sens就是说我们去看他的retention rate
我们去看他是不是有重复的
我们给所有的人都去给这样的option
但可能
就是在我就是没有想到过这个思路
我可能想的思路就是说我们去做AV testing
你脑海中没有这个答案的时候
你可能
那这个一方面可能就是经验吧
就是当你做过更多的东西了以后
你就可以有更多的思路
嗯
第二个我觉得就是仍然是
我觉得哪怕是一个evict的answer
也比一个错误的answer要好
就是我问你的问题是什么
你还是你抛弃
你知道AV testing这件事情
你觉得这个问题应该怎么答
你抛弃hypothesis testing
应该用AV testing很多
我现在就问你
merchant是不是interest in这个
你说的user research
我觉得都比AV testing好很多
你甚至可以发一个视频不看retention的话
你可以在后面加一个like和dislike的button
然后去看有多少人点like多少人点dislike
这个都是比AV testing好很多的回答
明白
ok i see
我觉得我的思路是最好的
但是我起码是来try to answer the question
ok ok
我明白
我感觉是有点局限在
这个就是抛字眼的hypothesis上面
应该就把它放更快一点看一下
overall product这样更make sense一些
对
好嘞
好难呀
你还有收获
是还有收获
我觉得肯定很丢人
对
有收获的同事觉得很丢人
感谢
Yanicor同学
感觉展现自己给大家这样一个机会
其实对吧
大家也看到了Yanicor同学是很好的
但是她愿意上来暴露自己的不足是吧
非常有勇气
不不不不不
太太实在是不太不太厉害
实在是太菜了
但是我就是我跟Yanicor同学说的时候
就是说
就是希望她可以暴露一下自己的不足
然后给大家一些更多的启发
然后她之所以会愿意丢这个人
so called
就是希望可以帮助大家
所以说我觉得请大家多感谢一下
说下留情
口下留情
OK
好
谢谢你
不客气
拜拜