2008年11月24日星期一
Google每天处理约20000TB的数据 zz
Google热衷于处理全球的信息，每天，他们花费大量时间探索更好的信息整理技术，他们目前使用的技术为 MapReduce，这是一种可以对数据进行并发处理的软件架构。鉴于其简单性与处理大规模数据的能力，MapReduce是Google日常数据处理的完美技术方案。Google 的数据整理实验一直以每TB数据表现为基准。这些标准话实验帮助 Google 理解和对比不同技术的优秀劣，并获得经验和教训，以改进下一代数据处理技术。目前，Google 的每TB数据处理能力为，在1000台计算机中处理 1TB 数据的时间为68秒（使用 Google File System 将 1TB 数据保存在100亿个 100 字节的非压缩文本文件中），以前的表现为 910 台电脑 209秒。
标签： google
// 发贴者：放牛娃的春天 @ 十一月 24, 2008 
订阅 博文 [Atom]