关于大数据和小数据

Learn, share, and connect around europe dataset solutions.
Post Reply
Bappy32
Posts: 596
Joined: Thu Jan 02, 2025 6:53 am

关于大数据和小数据

Post by Bappy32 »

测量是新的认识
麻省理工学院研究员埃里克·布林约尔松 (Erik Brynjolfsson) 在《纽约时报》发表的《大数据时代》一文中接受了记者史蒂夫·洛尔 (Steve Lohr) 的采访。谈话的原因是布林约尔夫森和合著者安德鲁·麦卡菲的新书《与机器赛跑》 ,两位作者在书中讨论了信息时代给经济带来的变革。特别是,人和机器产生的大量原始数据(或大数据),以及分析和解释所有这些数据的新技术,正在导致我们习惯做生意的方式发生变化。

布林约尔松在接受采访时说道:

“要了解大数据的影响,请看看四个世纪前发明的显微镜。它使人们能够以前所未有的方式观察和测量事物。数据测量相当于现代显微镜。”

在《大西洋月刊》之前发表的一篇文章《大数据繁荣是我们这个时代的创新故事》中,Brynjolfsson 和 McAfee 表示:

“[显微镜的发现]代表了发现的一个基本主题。创新的突破往往依赖于衡量的突破。”

科学的重大革命往往始于测量领域的突破。我们现在正处于一个新时代的开始,这可以比作17世纪现代科学的开始。寻找希格斯玻色子粒子是这个新时代的起点。

寻找希格斯玻色子
在过去的 48 年里,物理学一直致力于寻找希格斯波森粒子。一条27公里长的圆形隧道已在日内瓦附近建成,位于法国和瑞士边境深处。这条地下通道设有世界上最大的粒子加速器——大型强子对撞机(LHC)。

2010年3月30日,大型强子对撞机首次正式投入使用。那天,两束质子束以几乎光速互相发射,模拟宇宙的起源。在实验进行之前,许多末日预言家就宣布了地球末日。该实验将导致新的大爆炸。这次碰撞将产生一个黑洞,吞噬整个地球。

幸运的是,我们躲过了这个世界末日的场景。然而,正面碰撞确实产生了大量的数据。多个探测器在不到一秒的时间内拍摄了十亿张照片。这在短时间内产生了数 PB 的原始数据。不幸的是,存储和处理所有这些信息的能力尚不存在。硬件和软件必然会将采集的十亿张图像减少到每秒大约一百个事件。因此,大约 99% 的获得数据都被故意丢弃。

尤里卡
因此,2012 年 7 月 4 日,欧洲核子研究中心(负责建造和运行世界上最大的粒子加速器大型强子对撞机 (LHC) 的研究所)的科学家宣布,希格斯玻色子粒子已在过去几年收集的数十 PB 数据。全球数千名科学家利用最新技术分析了大量数据,经过 48 年的寻找,终于找到了“该死的粒子”。

CERN CMS 发言人乔·因坎德拉 (Joe Incandela) 表示,寻找希格斯玻色子粒子就像在装满沙子的奥林匹克游泳池中寻找一些不寻常的沙粒。大型强子对撞机中观察到的每次碰撞都是一粒沙子。只有几次碰撞证明了上帝粒子的存在。因此,请尝试在泳池中寻找那些特定的沙粒。几乎是不可能完成的任务。相比之下,大海捞针简直就是小孩子的游戏。科学家们称赞上帝粒子的发现是21世纪最伟大的科学发现并非没有道理。

我们能够证明希格斯玻色子粒子确实存在这一事实表明了大数据在不久的将来将产生的影响。正如 17 世纪的光学仪器使我们能够放大和缩小一样,先进的硬件和软件现在使我们能够快速搜索大量数据,发现结构和关系,从而获得更好的见解、决策和解决方案。

一方面,我们可以放大连续数据流中的细节级别。 Bryjolfsson 在 2012 年高级商 新西兰赌徒数据库 业领导力系列会议上的演讲中将其称为 Nanodata。这一最小的数据集提供了对个人需求的独特见解。它使公司有机会为这些人提供量身定制的服务,因为纳米数据可以帮助他们响应个人的个人喜好。在《意向经济——当客户负责时》一书中,作者Doc Searls也将这种纳米数据称为“小数据”。根据西尔斯的愿景,消费者可以控制自己的数据。他们自行决定哪个机构(无论是商业机构还是其他机构)将有权访问他们的个人数据。

另一方面,我们可以无限地缩小取之不尽用之不竭的数据源。通过结合不同的数据源,我们可以区分新的模式。借助正确的镜头和正确的焦点,我们可以获得以前人眼无法看到的洞察力。新算法提供了在大数据最初给我们带来的信息混乱中创建秩序的机会。

谷歌汽车自动驾驶例如,考虑一下谷歌的自动驾驶汽车。为了使计算机能够独立驱动,必须收集和分析大量数据。 Google 地图和 Google 街景提供探索道路所需的信息。此外,安装在自动驾驶汽车顶部的设备以视频、雷达和激光雷达(光探测和测距)的形式提供实时信息。然后,所有这些数据都会通过智能算法进行分析,其中会考虑交通规则、位置、要采取的路线以及旅途中可能遇到的物体等。最终的结果是一辆比世界上任何其他车都开得更好的汽车。

商业模式和奇点
如今,技术的发展速度如此之快,以至于世界已经获得了发展的动力。在《商业模式与奇点》一文中,Greg Satell 想知道这些技术创新对公司的决策过程有何影响。公司是否仍能承受不适应快速变化的环境的后果?公司应该抵制还是拥抱所有这些新技术?萨特尔在文章的最后评论道,商业模式不再是由智者从石头上雕刻出来的:
Post Reply