优艾设计网

Google开源C/C++版MapReduce框架?

优艾设计网 https://www.uibq.com 2023-02-18 14:59 出处:网络 作者:PS自学
据GigaOM消息,谷歌上周宣布将优艾设计网_平面设计开源C用MapReduce(MR4C),这是一个自己用C开发的MapReduce框架,这将给Hadoop社区带来好消息,因为用户可以在自己的Hadoop环境中运行原生C和C代码。

据GigaOM消息,谷歌上周宣布将优艾设计网_平面设计开源C用MapReduce(MR4C),这是一个自己用C开发的MapReduce框架,这将给Hadoop社区带来好消息,因为用户可以在自己的Hadoop环境中运行原生C和C代码。

Hadoop是很多大数据应用的基础。它是由Apache Foundation开发的分布式系统基础设施,主要由分布式文件系统HDFS和计算框架MapReduce组成。由于MapReduce最初是用Java编写的,性能略逊于C语言,所以很多处理大规模数据集的软件公司都开发了自己的专有系统,在MapReduce框架内执行自己的原生代码。脸书的HipHop(将PHP转换为C)和MemSQL在执行前将SQL转换为C代码都是出于同样的性能考虑。

MR4C最初由卫星成像公司Skybox Imaging开发,目的是优化其地理空间数据和计算机视觉代码库。MR4C是围绕几个简单的概念开发的,其目标是抽象MapReduce的重要细节,让用户专注于开发有价值的算法。去年6月,谷歌收购了Skybox。现在,半年过去了,MR4C又开源了。对于无法开发专有系统或对Java不感兴趣的开发人员来说,这无疑是一个福音。

当然,MR4C的受欢迎程度还有待观察。在数据处理方面,Apache Spark是一个比Mapreduce更快的框架。它支持Scala、Python和Java(但不支持C/C),引起了开发界的极大兴趣。

0

精彩评论

暂无评论...
验证码 换一张
取 消