这篇是写除了当个"计划开关师",还有很多事情可以做,我一直想找机会给大家写实操文档的续篇吧!
最核心是提醒大家不要一遇到问题就说“玄学”,面对问题只有“能解决跟不能解决”2种,不能解决也要尽力去定位,实在没有办法再放弃。
问题背景
1月20日IOS新版本发布,发布后几天的ROI情况:头条跟ASA呈一个下降趋势,快手还是好到爆
节前问题定位步骤
行动一:新版本过审是在1月21日,22日当天成本有小幅度上涨,我推测可能是正常的流量波动(数据归因容易导致发现问题的时候会滞后1-2天)
行动二:23日发现成本继续小幅度上升,平均付费率下降0.5%,继续观察
行动三:24日取数发现:成本环比平均成本上升了10%,次留下降了5%,付费率跌了0.9%
行动四:反馈给项管童靴,她负责取出端内行为数据(行为正常),我拿出手机去走一遍头条的联调流程,走一遍自然下载
发现自然下载的第三方支付(微信跟支付宝)按钮消失不见,取数发现第三方支付在发版后,头条跟ASA的点击数也有下降的问题反馈给产品确认,结果是因为我们针对广告与自然下载做了差异化处理(避开苹果税)
行动五:提出假设归因出现问题(之前频繁出现),取出各项归因数据,发现UA归因率要比我们另外一款产品低30%左右
因为临近春节了,技术童靴们还有很多加班年假要休,基本走得差不多了,先把问题定位到UA获取率低的问题,提出在3月2日发新版修复
我肯定不是最核心的问题
理由一:用快手ROI很好的问题来搪塞头条跟ASA的流量质量下降我不认同
快手是在年前才做好的点击归因,且是一款新产品,用在头条投的好的素材复用过来当然投的很好,没有历史数据给我判断是否异常
理由二:UA获取率低于另外一款产品,是在头条刚接入点击归因(11月接入)就一直存在的问题
继续挠破头过春节,由于IOS的ROI跟付费率未恢复至发版前,我把IOS量级控住
过年回来后,数分与技术一起参与进入IOS的排查,连续定位了1周都未发现问题,但由于春节流量红利逐渐下降,IOS的ROI更惨了,我又控住了50%继续苟着
事情转机
2月19日晚上20点40分,我发现IOS成本异常上升,立马走了遍联调流程,发现首页推荐内容空白,一直显示在加载中(BUG得够久,终于全部用户都能看到了)
立马反馈给项管,看看她的手机下载是不是也是同样的情况,结果一致,我立马让快手跟ASA的童靴控住IOS预算
同时摇技术确认是不是大规模爆发,当晚我们几个人确认到0点左右,技术确认是的,然后立马拉其他技术修复,20号需要发新版修复,然后我就麻溜去睡觉了
21号过审,22号头条跟ASA付费率上升,成本逐渐下降,至今ROI水平正常
大家看下来,从发生问题到解决问题,差不多一个月左右,肯定在吐槽我们效率
后面我们在跟技术线过周会的时候,提出建立自动化的数据监测
后面去取数的时候,首页热推的点击率下降了40%(但这块我们谁都没有留意到)
发生了问题不应该是抱着甩锅的态度,直接出文档说明是流量质量下降,这种情况已经好几次了
在定位问题的过程中,也在收获新的知识(无论是提升能力还是发现小BUG),虽然看着数据不好,心情很低落,事后在写这篇文章的时候,笑了下, 哎,都是小事情啦~
看完觉得写得好的,不防打赏一元,以支持蓝海情报网揭秘更多好的项目。