三大技术助力美国国家安全局监控用户数据

北京时间6月13日消息,据国外媒体报道,上周,随着美国政府利用互联网监视和追踪民众的消息浮出水面,这使得互联网履行其最初使命的前景看似暗淡。现代计算技术正帮助公司和政府准确、快速地分析庞大的数据资源,其中数据库系统、机器学习和Hadoop基础架构三大技术发挥了非常重要的作用。

以下是文章内容全文:

仅仅在五年之前,诸如美国国家安全局(National Security Agency,NSA)这样的政府机构要想通过关键词的方式高效率地分析数百万份电话、文本消息和在线聊天记录,简直是不可能完成的任务。不过目前,一系列新技术的使用则让NSA拥有相对充分的人力和财力做到这一点。尤其考虑到,这些关键词最终有可能避免未来针对美国恐怖袭击的放生。

这些新技术能够在一个单独的数据库里存储大量不同类型的数据,而且不需要使用造价昂贵的硬件设备就能够实现数据的高速处理,同时还无需数据分析专家提前设定假设条件。

哈佛商学院客座教授、数据分析专家汤姆?达文波特(Tom Davenport)指出:“这些新技术为政府部门节省了巨额开支,同时还极大地提高了政府部门分析此类数据的能力。虽然需要配套的数据中心支持才能完成数据分析任务,但这些技术的成本要远比几年前低得多。”

NSA斥资十二亿美元在犹他州打造大型数据中心将于今年秋季投入使用。目前尚不明确的是,到底NSA在覆盖全美的数据中心使用的是何种计算技术。但总体来说,这些技术被分为三大类型:

1. 数据库系统

大多数使用SQL编程语言的传统数据库是把数据存储在由行与列组成的表格中。然而,当遇到存储包括电子邮件或文本信息等字符串时,传统数据库就暴露了能力有限的弊端。而且它们还无法处理图片或视频。

而于2009年年底开始出现的新型数据库NoSQL(Not>