扣丁学堂大数据培训分享数据挖掘避免弊端方法大全

2019-01-29 16:49:27 650浏览

如今的大数据开发技术已经被众多人的所熟知，因此现在想要参加大数据培训的小伙伴越来越来，本篇文章小编和大家分享一下数据挖掘避免弊端方法，希望可以帮到对大数据开发感兴趣的小伙伴们。

1、抛弃了不该忽略的案例

到底是“宁为鸡头，不为凤尾”，还是“大隐隐于市，小隐隐于野”？不同的人生态度可以有同样精彩的人生，不同的数据也可能蕴含同样重要的价值。

异常值可能会导致错误的结果(比如价格中的小数点标错了)，但也可能是问题的答案(比如臭氧洞)，所以需要仔细检查这些异常。

数据中的不一致性有可能会是解决问题的线索，深挖下去也许可以解决一个大的业务问题。

例如：

在直邮营销中，在对家庭地址的合并和清洗过程中发现的数据不一致，反而可能是新的营销机会。

解决方法：

可视化可以帮助你分析大量的假设是否成立。

2、轻信预测

依然是辩证法中的观点，事物都是不断发展变化的。人们常常在经验不多的时候轻易得出一些结论。

即便发现了一些反例，人们也不太愿意放弃原先的想法。

维度咒语：在低维度上的直觉，放在高维度空间中，常常是毫无意义的。

解决方法：

进化论。没有正确的结论，只有越来越准确的结论。

3、试图回答所有问题

有点像爬山时鼓励自己的一句话“我不知道什么时候能登上山峰，但我知道爬一步就离终点近一步。”

“不知道”是一种有意义的模型结果。

模型也许无法100%准确回答问题，但至少可以帮我们估计出现某种结果的可能性。

4、随便地进行抽样

降低抽样水平。例如，MD直邮公司进行响应预测分析，但发现数据集中的不响应客户占比太高。于是建模人员做了如下抽样：把所有响应者放入样本集，然后在所有不响应者中进行系统抽样，即每隔10人抽一个放入样本集，直到样本集达到10万人。但模型居然得出如下规则：凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都会响应营销。

解决方法：“喝前摇一摇”先打乱原始数据集中的顺序，从而保证抽样的随机性。

提高抽样水平。例如，在信用评分中，因为违约客户的占比一般都非常低，所以在建模时常常会人为调高违约客户的占比(比如把这些违约客户的权重提高5倍)。建模中发现，随着模型越来越复杂，判别违约客户的准确率也越来越高，但对正常客户的误判率也随之升高。(问题出在数据集的划分上。在把原始数据集划分为训练集和测试集时，原始数据集中违约客户的权重已经被提高过了)

解决方法：先进行数据集划分，然后再提高训练集中违约客户的权重。

5、太相信最佳模型

还是那句老话“没有最好，只有更好”

可解释性并不一定总是必要的，看起来并不完全正确或者可以解释的模型，有时也会有用。

“最佳”模型中使用的一些变量，会分散人们太多的注意力。

一般来说，很多变量看起来彼此都很相似，而最佳模型的结构看上去也千差万别，无迹可循。但需注意的是，结构上相似并不意味着功能上也相似。

解决方法：把多个模型集装起来可能会带来更好更稳定的结果。

数据挖掘最重要的要素是分析人员的相关业务知识和思维模式。丰富的业务知识是设计有效的相关变量的必要条件，而分析人员的思维模式从另外一个方面也保障了设计变量的结构化和完整性。所以我们在掌握丰富的业务知识同时，如果能够按照正确的思维模式去思考问题，将会发现解决问题并不是很困难的。

以上就是扣丁学堂大数据在线学习小编给大家分享的数据挖掘避免弊端方法，希望对小伙伴们有所帮助，想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询。

想要学好大数据开发小编给大家推荐口碑良好的扣丁学堂，扣丁学堂有专业老师制定的大数据学习路线图辅助学员学习，此外还有与时俱进的大数据视频教程供大家学习，想要学好大数据开发技术的小伙伴快快行动吧。扣丁学堂大数据学习群：209080834。

【关注微信公众号获取更多学习资料】 

查看更多关于“大数据培训资讯”的相关文章>