YunTable开发日记（1） 计划 （转载）

源地址：http://peopleyun.com/?p=647

因为书的初稿已经写好，所以现在这个阶段主要以研发产品原型为主，而且将关注点主要集中于下一代云计算系统。可惜的是，我之前主要使用的开发语言是Java，而对常用于构建云计算系统中的C语言不是很熟悉，同时由于C的灵活性和其牵涉到很多底层技术，使得这个坎非常不好过，但是既然已经走到了这步，不论是再艰难的东西，也要坚持下去。那么什么方式能最有效地提升编程能力呢？对于有一定编程的经验的人而言，答案非常简单，那就是“做项目”，所以为了提升我的C语言能力，所以我决定在七个开发日的时间内完成一个最简单的BigTable的原型，名为“YunTable”，接下来是这个项目的简要介绍和开发计划。

YunTable

简单而言，YunTable的第一步计划是成为开源版的BigTable，虽然Clone它整个功能需要消耗大量的资源，但是如果要实现它最简单的功能集合，还是可行的，那么在深入YunTable的架构之前，先稍微总结一下BigTable。

BigTable

就像我在《探索Google App Engine背后的奥秘》系列中所说的那样，BigTable其实没有我们想象的那么复杂，其实就是在Array（数组）的基础上加上Sorted，Multi-Dimensional和Sharded等特性，所以在开始的时候，我们也可以先开发一个Array系统，之后在这个系统的基础上不断地添加特性。

YunTable的架构

由于我对分布式数据库这块并不是特别熟悉，如果在项目开始对YunTable的架构着墨过多的话，只会导致误入歧途的后果，所以我只画了最简单的Blueprint。

图1. YunTable v0.01的架构图

 

首先是横向的四层，主要负责对请求的处理和对数据的存储：

1.  
   1. 接口层：用于接受关于YunTable的网络请求。
   2. 编译层：主要编译上层接收到的请求，并将其转译为相应的动作。
   3. 数据模型层：用于在内存中维护YunTable的数据模型，并执行那么在上层被转译的动作。
   4. 数据存储层：主要对上层的数据进行持久化，而且是基于列式来存储。

接着是纵向的两层，主要是为横向的四层服务的：

1.  
   1. 管理层：主要用于YunTable进程的起停和配置。
   2. 分布式层：主要用于协调多个YunTable节点之间的管理和同步工作，而且由于此层牵涉的东西过多，所以在这一轮开发过程中，不会涉及。

开发计划

关于开发计划，其原则是“循序渐进，先难后易”，循序渐进是为了在开发工作中能稳定和不断地向目标逼近，而先难后易则为了先锤炼一下自己的C语言功底。接下来是之后七个开发日的开发计划：

1.  
   1. 6-6周日：主要完成接口层，编译层和研究BigTable的数据模型。
   2. 6-7周一：主要完成管理层和研究HBase的实现。
   3. 6-8周二和6-9周三：实现数据模型层。
   4. 6-12周六和6-13周日：完成数据存储层。
   5. 6-14周一：测试并上传v0.1版代码至Google Code上。

由于6-10周四和6-11周五将去北京参加2010 IBM云计算高峰论坛，所以那两天的工作主要会以报道大会为主。

最后，希望大家能给我提一些建议，我在这里先谢谢了，还有，今后几天我会依据项目的进度来写项目的开发日记，希望大家能喜欢，并多多关注。