Hadoop并非完美:8个代替 HDFS 的绝佳方案

news/2024/7/17 5:54:42 标签: hadoop, cassandra, 存储, 集群, emc, 分布式计算

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目、非常规项目、要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能、可用性、企业级特性有较高的要求,且注重直接附加存储(DAS)架构,特别是老版本的Hadoop没有高性能的主节点,那么接下来8个产品就是代替HDFS的绝佳方案。

1. Cassandra (DataStax)

并非一个完全的文件系统,而是一个开源、NoSQL 键值(key-value)商店。这给依靠快速数据访问的Web 应用多了一个HDFS选择。简单来说它把Hadoop融合在Cassandra里面,支持Web应用通过Hadoop快速访问数据, 而Hadoop可以快速访问流入Cassandra的数据。

2. Ceph

Ceph 是一个开源、多管齐下的操作系统,因为其高性能并行文件系统的特性,有人甚至认为它是基于Hadoop环境下的HDFS的接班人,因为自2010年就有研究者在寻找这个特性。

3. Cleversafe:分散存储网络

本周一Cleversafe宣布将融合Hadoop的并行编程技术和自己的分散存贮网络。其原理是通过把整个元数据分布在集群中(不是依靠单个主节点、不是依靠复制),Cleversafe表示这比HDFS更快、更稳定、更具扩展性。

4. GPFS (IBM)

IBM一直在向高性能要求的用户销售其并行文件系统,包括世界上最快的超级电脑,2010年它推出了基于Hadoop的GPFS, 并宣布GPFS不共享集群版本比Hadoop快多了,因为

它在内核级别中运行,而不是在操作系统中运行例如HDFS。

5. Isilon (EMC)

EMC提供Hadoop发行版已经一年了,但2012年1月转型为HDFS企业级别的新方案——Isilon 的 OneFS文件系统。因为Isilon可以读取 NFS, CIFS以及 HDFS 协议, 一个单独的 Isilon NAS系统可以摄入、处理、分析数据。

6. Lustre

HPC存储提供商Xyratex 增在2011年的一份报道中写到, 基于Lustre的集群会比基于HDFS的集群更快更便宜。

7. MapR 文件系统

MapR 文件系统在业内已经具有一定知名度了,不仅MapR宣布它自己的文件系统比HDFS快2-5倍(实际上有20倍),它还具有镜像、快照、高性能这些企业用户喜欢的特点。

8. NetApp Hadoop开放方案

NetApp重新改版了物理Hadoop结构:把HDFS放在磁盘阵列中,通过这样来达到更快、更稳定、更安全的Hadoop工作。

Via gigaom

(济慈 供雷锋网专稿,转载请注明!)

http://www.niftyadmin.cn/n/1609030.html

相关文章

BlackBerry HTML 5应用参考

Daily Express UK http://appworld.blackberry.com/webstore/content/1433/?langen技术特点:数据来自RSS feed;数据可以offline存储(估计是html 5 存储或者是BlackBerry的WebWorks的数据库存储)优化的html页面和JavaScript&#…

微博遇鬼,如何处理

微博遇鬼?是的,你没看错,雷锋网遇到了,就在昨天晚上20:30左右,整个事件持续了两个小时多,幸好收场还没有一塌糊涂,如果不是,可能这会儿也看不到这篇反思和总结的文章了。今早&#x…

PlayBook NDK 2.0 + Qt 开发环境 on Windows 7

目标:搞定PlayBook(真机/模拟器)上面开发和移植Qt应用所需要的开发环境。 步骤: Part A)准备开发环境。 Part B)创建项目,配置Qt开发环境。 Part C)在PlayBook simulator上运行Qt程序(略)Part A)准备开发环境: OS: Windows 7 64 b…

Mobile web 开发参考资料

转自IBM WorklightThe following is a list of external resources we have collected to help you get the most out of the Worklight Platform. This list is by no means a coprehensive one but rather includes many libraries, frameworks and tools that our developer…

雷锋读图:HTML5和Flash是一场无止境的争论

包括乔布斯这种传奇人物在内,对HTML5赋予了很高的评价:“网页开发者可以在不依赖第三方插件的时候,利用HTML5做出高级的图像、字体、动画和过渡效果。”虽然HTML5的前景是非常光明的,但是由于它还处于研发阶段,功能效果…

苹果的出货量增加还是减少?调研公司意见分歧

最新的PC出货量调查数据报告又出炉了。业内有名的两家数据调查公司——Gartner和IDC公布了它们最新的PC出货调查估算分析。尽管这个季度两家的结果差异很大,我们还是来看看吧:HP毫无疑问出货量最多,无论是在美国本土还是全世界。不过同比去年…

IBM WorkLight跨平台HTML开发工具如何访问后台数据库?

WorkLight服务器上有SQL database adapter,帮助WorkLight手机客户端程序访问后台的数据库。摘自:Worklight 4.2.1 Developer Reference Guide.pdf page 106 of 172

开博24个月了,记录一下足迹,访问量10万次

2012年5月:访问:100135次积分:4227分排名:第733名 2012年 3月:访问量8万左右,CSDN专家2012年12月:访问量6万左右2011年 1月:访问量1万多点,开博8个月,成绩还…