蓝海情报网

数据分析思维清单32/50 机器学习

蓝海情报网 868

数据分析思维清单32/50 机器学习

作为商业分析师,或多或少听过机器学习。你每天都在用它的产品,比如"猜你喜欢"、"预估配送时间"、"智能客服"等都是机器学习的具体应用。

今天我们就来聊聊最常用的三大类算法,以及使用机器学习时的两个关键注意事项。

不用担心,我会用最接地气的方式,让你轻松理解这些概念。

一、三大类机器学习算法

1. 分类算法:预测"是或否"

想象一下,你是音乐APP的产品经理,每天面对海量的音乐数据,如何精准预测用户会喜欢哪些歌?

这就是一个典型的分类问题。

分类算法就像一个"是非题",它的答案永远是确定的选项,比如"会喜欢/不会喜欢","是/否","A/B/C"等。

最常用的分类算法有:

  • 决策树:就像是玩20个问题的游戏。比如:这首歌的风格是民谣吗?用户最近听过这个歌手的歌吗?用户是否经常在晚上听这类音乐?通过一系列问题,最终得出"用户可能会喜欢这首歌"的结论。决策树的优势在于可解释性强,你可以清晰地看到每个决策的依据。

  • 随机森林:这个听起来很高大上,其实就是找100个人(100棵决策树)一起决策,少数服从多数。每个决策树都独立判断,互不干扰,最后投票决定。这样做的好处是,能够避免单个决策树的偏见,提高预测准确性。就像在公司做决策,集思广益总比一个人拍板要靠谱。

在商业分析中,分类算法的应用无处不在:

  1. 预测用户流失:通过分析用户的使用频率、最近登录时间、消费金额变化等特征,预测哪些用户可能会流失。这样我们就能提前对这些用户进行针对性的营销挽留。

  2. 欺诈检测:在金融领域,通过分析交易时间、金额、频率、地点等特征,判断一笔交易是否可能是欺诈。

  3. 商品推荐:结合用户的历史浏览、购买记录,以及商品的类别、价格等信息,预测用户是否会对某个商品感兴趣。

举个实际的例子:某电商平台想预测用户是否会在未来30天内购买某个商品。他们可能会考虑这些特征:

  • 用户最近30天的浏览次数

  • 用户是否将商品加入购物车

  • 用户历史购买同类商品的频率

  • 用户的客单价水平

  • 商品的折扣力度

  • 商品的库存状态

  • 用户是否是会员

通过训练分类模型,就能得到一个预测结果:"该用户有87%的概率会在未来30天内购买这个商品"。

数据分析思维清单32/50:机器学习

2. 回归算法:预测具体数值

如果说分类算法是选择题,那回归算法就是填空题。你在使用滴滴打车的时候,你叫车前,它就能估算出价格。这就是回归算法在发挥作用。回归算法的特点是预测连续的数值,而不是离散的类别。

常见的回归算法包括:

  • 线性回归:这是最基础的回归算法,假设特征和预测值之间存在线性关系。想象你坐公交车,每公里2元,这就是最简单的线性关系。在实际应用中,可能会考虑多个特征,比如预测房价时,不仅要考虑面积(每平米单价),还要考虑地段、楼层、装修等因素。

  • GBDT(梯度提升决策树):这个名字听起来吓人,但实际很好理解。就像打高尔夫,第一杆打偏了,第二杆调整一点,第三杆再调整一点,每次都在纠正之前的误差,最终找到最好的路径。GBDT在工业界非常受欢迎,因为它能自动挖掘特征间的非线性关系,预测效果往往比线性回归好得多。

商业分析中的应用场景:

  1. 销量预测:预测未来一段时间内的商品销量,这对于库存管理和供应链优化至关重要。

  2. 广告点击率预测:在投放广告前,预估可能的点击率,这直接关系到广告位的定价和排序。

  3. 客户终身价值预测:预测一个客户在未来可能贡献的总收入,这对于制定差异化的客户服务策略非常重要。

数据分析思维清单32/50:机器学习

3. 聚类算法:发现相似的群体

聚类算法就像是一个优秀的运营,能把相似的用户分到一组。用户运营就经常用聚类算法来发现不同的用户群体,这样就能精准推送内容了。与分类算法不同,聚类算法不需要预先知道分组的标准,它能自动发现数据中的模式。

数据分析思维清单32/50:机器学习

两个常用的聚类算法:

  • K-Means:就像给羊分圈,先定好要分几个圈(K值),然后看哪只羊离哪个圈最近。这个过程会不断重复,直到每只羊都找到最合适的圈。K-Means的优点是简单高效,缺点是需要预先指定K值,而且对异常值比较敏感。

  • DBSCAN:这个更智能,它会自动发现人群密集的地方,就像在音乐节上发现不同的粉丝团。DBSCAN不需要预先指定分组数量,而是根据数据的密度自动划分,还能识别出异常点。缺点是对参数的设置比较敏感,需要一定的经验。

关于各类算法的特点,我总结了下面的表:

数据分析思维清单32/50:机器学习

二、用好机器学习,这两点你必须知道

1. 所有模型都是错的,但有些是有用的

所有模型都是错的,但有些是有用的。

这句话不是我说的,是统计学家George Box说的。它告诉我们:不要追求完美的模型,要追求有用的模型。在商业分析中,这一点尤其重要。

假设有一位学生为了准备考试。

这个学生在复习时,只是简单地浏览了一下去年的考试内容,既没有记住题目,也没有深入理解知识点。他既没有对去年的题目产生深刻的理解,也没有掌握应对新题型的方法。

因此,当他面对去年的试卷时,错的很多;而到了正式考试,他依然没有足够的知识来应对这些新的问题。

在机器学习中,这种情况就是欠拟合。

欠拟合的模型就像这个没有深入学习的学生——模型过于简单,没有足够的能力去捕捉数据中的重要模式和规律,所以它在训练数据和测试数据上都表现不好。

如果他拿到了去年的考试卷子,并且把每一道题的答案都背得滚瓜烂熟。这种情况下,学生在做和去年的试卷一模一样的题目时,可能表现得非常好,分数很高。这就像模型在训练数据上表现非常好一样。

但是,到了正式考试时,考卷上的题目和去年的不完全一样,虽然有些题型类似,但题目细节发生了变化。由于学生只会死记硬背去年的答案,而没有真正理解知识,他在新的考题上可能表现得很差。这个学生在应对训练数据(去年的试卷)时表现得很好,但在测试数据(正式考试卷)上却失败了。

这就是过拟合。过拟合是指模型过于专注于训练数据中的细节和噪声,无法很好地应对新数据。

过拟合和欠拟合的平衡是很微妙的,真正能用的模型既不能欠拟合也不能过拟合。

那么如果两个模型效果差不多,怎么办?这种情况要遵循一个原则:奥卡姆剃刀。

意思是,如果两个模型效果差不多,那就选择更简单的那个。这就像你背单词,与其背一大堆近义词,不如先把最常用的掌握好。在实际工作中,我们经常会看到:

  1. 简单的决策树模型,可解释性强,同事容易理解

  2. 线性回归虽然简单,但在很多场景下效果足够好

  3. 复杂的深度学习模型,可能会过拟合,导致线上效果不稳定

 

2. 选对评估标准,避免南辕北辙

评估标准就像是考试的评分标准,选对了,才能评判模型的好坏。不同的业务场景,关注的重点不同,使用的评估标准也应该不同。

拿广告点击预测来说,我们经常用这些指标:

  • 准确率(Precision):预测点击的广告中,真正被点击的比例

  • 召回率(Recall):所有被点击的广告中,被正确预测的比例

  • F1分数:准确率和召回率的调和平均数,平衡两者的取舍

选择哪个指标?要看你的目标:

  • 如果预算有限,追求精准,就看准确率

  • 如果怕错过机会,宁可多投,就看召回率

  • 如果两者都想兼顾,可以看F1分数

预测情况

实际点击

实际不点击

预测点击

真正例(TP)

假正例(FP)

预测不点击

假负例(FN)

真负例(TN)

  • 准确率 = TP / (TP + FP)

  • 召回率 = TP / (TP + FN)

  • F1 = 2 * (准确率 * 召回率) / (准确率 + 召回率)

在实际工作中,选择评估指标时需要注意:

  1. 考虑业务成本:有时候假正例和假负例的成本不一样,比如在欺诈检测中,把正常交易判断为欺诈(假正例)的成本,可能远小于把欺诈交易判断为正常(假负例)的成本

  2. 数据不平衡:在用户流失预测中,流失用户往往是少数,这时候准确率可能会产生误导,应该更关注召回率

  3. 综合多个指标:不要只看单个指标,应该综合考虑多个指标,全面评估模型性能

结语

现在一般商业分析师不太自己做机器学习的分析,而是交给算法工程师。

不过学习机器学习,就像学开车。你不需要知道发动机的每个零件,但要知道什么时候该用什么档位。作为商业分析师,你需要掌握这些基础概念,就能遇到合适的问题的时候,想起可以用机器学习解决这类问题。

 

·END·

 

看完觉得写得好的,不防打赏一元,以支持蓝海情报网揭秘更多好的项目。

标签:

ad2

推荐内容