Python机器学习:4.9 利用随机森林评估特征重要性

  • Python机器学习:4.9 利用随机森林评估特征重要性已关闭评论

在前面一节,你学习了如何利用L1正则将不相干特征变为0,使用SBS算法进行特征选择。另一种从数据集中选择相关特征的方法是利用随机森林。

随机森林能够度量每个特征的重要性,我们可以依据这个重要性指标进而选择最重要的特征。sklearn中已经实现了用随机森林评估特征重要性,在训练好随机森林模型后,直接调用feature_importances属性就能得到每个特征的重要性。

下面用Wine数据集为例,我们训练一个包含10000棵决策树的随机森林来评估13个维度特征的重要性(第三章我们就说过,对于基于树的模型,不必对特征进行标准化或归一化):

我们可以得出结论:‘Alcohol’是最能区分类别的特征。有趣地是,重要性排名前三的特征也在SBS的最优5特征子集中。

sklearn的随机森林实现,包括一个transform方法能够基于用户给定的阈值进行特征选择,所以如果你要用RandomFroestClassifier作为特征选择器,这就很easy了。举个例子:设置阈值为0.15,会选择出三个维度特征,Alcohol、Malic acid和Ash。

Python机器学习中文版目录(https://www.aibbt.com/a/20787.html)

转载请注明出处,Python机器学习(https://www.aibbt.com/a/pythonmachinelearning/)

  • 微信
  • 扫一扫
  • weinxin
  • 微信公众号
  • 扫一扫
  • weinxin
  • 本文由 发表于 2018年3月11日22:15:31
  • 除非特殊声明,本站文章均为原创,转载请务必保留本文链接
七分袖连衣裙
卫衣
半身裙时尚
懒人鞋
使用Python5年后,我发现学python必看这三本书!少走一半弯路

使用Python5年后,我发现学python必看这三本书!少走一半弯路

非常喜欢python我非常喜欢python,在前面5年里,它一直是我热衷使用并不断研究的语言,迄今为止,python都非常友好并且易于学习!它几乎可以做任何事,从简单的脚本创建、web,到数据可视化以...
福利赠送,共十本Python电子书任你选!

福利赠送,共十本Python电子书任你选!

作者:Eric Matthes译者:袁国忠Amazon编程入门类榜首图书,国内 Python 入门第一书同时使用Python 2.7 和Python 3.5 讲解,全面、详细、深入浅出从基本概念到完整...
Shunji Yamanaka在伦敦展示了3D打印仿生机器人 人工智能

Shunji Yamanaka在伦敦展示了3D打印仿生机器人

“东京的原型:设计引领创新的例证”是2019年1月在伦敦日本馆举办的最新展览,将展示由东京大学山中教授的3D打印创新设计,其研究重点是通过精湛的假肢和仿生机器人等项目,重新审视人类与人造物体之间的关系...
TensorFlow 内核剖析 TensorFlow教程

TensorFlow 内核剖析

前言 本书定位 这是一本剖析TensorFlow 内核工作原理的书籍,并非讲述如何使用TensorFlow 构建机 器学习模型,也不会讲述应用TensorFlow 的最佳实践。本书将通过剖析Tenso...