大话数据--思维_李孟_新浪博客

大话数据--思维_李孟_新浪博客

大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种 机器学习。但是这种定义是有误导性的。大数据不是要教机器像人一样思考。相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。 一.思维 1.不是随机样本,全体数据    小数据时代的主要方式随机采样：    采样分析的精确性随着采样随机性的增加而大幅提高，但与样本数量 的增加关系不大     当人们想了解更深层次的细分领域的情况时，随机采样的方法就不可取了。在宏观 领域起作用的方法在微观领域失去了作用  全数据模式，样本=总体：   大数据是指不用随机分析法这样的捷径，而 采用所有数据的方法 2.不是精确性，而是混杂性  允许数据不精确：   案例：有一种简单的算法表现得很差，但当数据达10亿的时候，它变成 了表现最好的，准确率从原来的75%提高到了95%以上，例如sqoop  大数据的简单算法比小数据的复杂算法更有效   混杂性，不是竭力避免，而是标准途径：   当数量规模变大的时候，确切的数量已经不那么重要了  新的数据库设计   例如hdfs,hive,hbase等等 3.不是因果关系,而是相关关系  知道是什么就够了，没必要知道为什么   改变操作方式   改变探索世界方式 参考《大数据时代》(维克托·迈尔·舍恩伯格)

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。