Skip to content

大数据-01-发展史 #32

@sunorry

Description

@sunorry

2016 年,Google 的 AlphaGo 横空出世,让我们见识了“大数据 + 机器学习”的巨大威力。

从我的角度而言,不管是学习某门技术,还是讨论某个事情,最好的方式一定不是一头扎到具体细节里,而是应该从时空的角度先了解它的来龙去脉,以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后,再去看现状,就会明朗很多,也能更直接地看到现状背后的本质。说实话,这对于我们理解技术、学习技术而言,同等重要。

2004 年左右,大多数公司的关注点其实还是聚焦在单机上,在思考如何提升单机的性能,寻找更贵更好的服务器。而 Google 的思路是部署一个大规模的服务器集群,通过分布式的方式将海量数据存储在这个集群上,然后利用集群上的所有机器进行数据计算。 这样,Google 其实不需要买很多很贵的服务器,它只要把这些普通的机器组织到一起,就非常厉害了。

发展史

爆肝出图,太难画了,再也不想画了。
project-2019-08-20_08-08_AM

除了这些技术,还需要一个大数据平台,也就是万象来整合所有的大数据组件和企业应用系统。
db

一个典型的互联网大数据平台架构。
平台架构

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions