中小企业的大数据技术路线选择
眼下,大数据主要应用在互联网、电商领域。电信、电力行业也在逐步使用。对广大的中小企业来说,大数据也听得太多了。然而。大数据的技术门槛还是非常高的。从技术路线上来说。选择大公司使用的技术方案可能是不能承受之重。
笔者所在的公司,选择的是行业通用的Hadoop方案。历经一年之久,前后三拨人员。一个Demo版还没出来。
大数据真的让人望眼欲穿啊。
对中小企业而言,要选择适合自己的大数据技术路线。跟着大公司。人云亦云,还真玩不起。那么,有没有适合中小企业的大数据方案呢?笔者用心收集了几个,供參考。
1、Cassandra+Presto
Cassandra是一套开源分布式NoSQL数据库系统。
它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与Amazon Dynamo的全然分布式的架构于一身Facebook于2008将 Cassandra 开源,此后,因为Cassandra良好的可扩放性。被Digg、Twitter等知名Web 2.0站点所採纳。成为了一种流行的分布式结构化数据存储方案。
Cassandra主要特性:
- 分布式
- 基于column的结构化
- 高伸展性
Cassandra提供了下面功能:
- 模式灵活
- 可扩展性
- 多数据中心
- 范围查询
- 列表数据结构
- 分布式写操作
- 一致性Hash
- GoSSIP协议简化集群管理
- 实时更新
- 高效的二级索引
- 高效的数据压缩
Presto是一个用Java语言开发的、开源的“交互式”SQL查询引擎。它由Facebook构建,即Hive最初的创建者。
Presto採用的方法类似于Impala。即提供交互式体验的同一时候依旧使用已有的存储在Hadoop上的数据集。它也须要安装在很多“节点”上,类似于Impala。Presto提供了下面功能:
- ANSI-SQL语法支持 (可能是ANSI-92)
- JDBC 驱动
- 一个用于从已有数据源中读取数据的“连接器”集合。
连接器包含:HDFS、Hive和Cassandra
- 与Hive metastore交互以实现模式共享
Trafodion是由惠普赞助的一个开源项目。培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方式,针对大数据的事务或业务工作负载。
Trafodion是在Apache许可证授权,版本号2.0。Trafodion建立在可扩展性。弹性和Hadoop的灵活性上。
Trafodion Hadoop的扩展提供保证事务的完整性,使各种新的大数据应用在Hadoop上执行。
Key Features of Trafodion
|
Key Benefits of Trafodion
|