http://www.lilyproject.org/lily
Lily以NoSQL技术为主题,是建立在云计算上的内容仓库(content repository)。它是基于Apache的 HBase(存储)和Solr(索引/搜索),并提供了大型内容集合存储与检索的解决方案。可运用在 门户网站,内容管理系统,及时搜索,档案应用,文案管理,等等。
Lily项目与传统的Lucene框架相比体现了以下几点关键性的优势:
·伸缩性 –> sharding/MapReduce
·可用性 –> replication
·及时性 –> real-time update index
·容错性 –> no SPFO
另外,Lily 借用了Apache的 HBase进行存储 ,Solr进行Index/Search;
Lily 重新构建大数量的索引Lily会采用MapReduce把索引当做文件切在HDFS上;
Lily 索引更新时切换并没有像LinkedIn的Zoie那样保存在内存里,Lily在Hbase上建立了secondary indexes;
Lily 在建立索引的结构方面 借鉴了Google App Engine的索引设计思想;
Lily 那帮人考虑使用HBase和Solr作为基础平台纠结了很久,最终给出了一些依据。
BTW:关于上面提到了LinkedIn的Zoie我想多数两句,Zoie跟LinkedIn的其他产品捆绑的非常紧密,导致你如果单一的使用Zoie总会觉得很变扭,而且文档非常少,那篇让人貌似惊喜的中文文档仍然不够详细,只好对Zoie望而却步了。
Lily的整个系统架构由4个主要的部分组成:
1.Zookeeper – 对分布式环境中的状态和配置进行管理,并作为系统中客户端的访问入口。
2.Lily Middleware -由WAL(预写日志)、Message Queue(消息队列)、Indexer(索引策略)、Lily Repository(索引CRUD) 组成。
3.HBase -作为存储单元,最终的消息、索引、数据和二进制数据还是存储在HDFS上。
4.Solr – 建立Lucene框架基础上查询器,并且支持分布式搜索,切片的策略由Lily Middleware中的Indexer部件提供。
如图所示:
废话:
1.Lily相比其他一些分布式搜索工具非常简单,就算你第一次上手30分钟内,也能跑起来一个例子,有空补上一个小例子。
2.Lily在分布式的环境中不能使用Apache的原版Hbase和Hadoop,需要使用改装过的版本,HBase是Lily自己改装的,Hadoop是Cloudera的 0.20.2+737版 。
3.Lily为了简化开发和将来对项目的维护,在代码上使用了Spring作为集成工具。
转自:http://www.javabloger.com/article/lily-hbase-solr-lucene-zookeeper.html