使用nodejs抓取博客园内容---Promise模块探索

最近在学习NodeJs。从nodejs语言本身，看了朴灵的《深入浅出NodeJs》，《Node即学即用》。个人感觉朴灵的这本书适合node入门后乃至中级程序员去阅读。而后者则可以完全当做初级入门教材使用。当然我认为最快捷的学习路径是看视频。这里推荐  慕课网的node视频，讲的还是非常不错的。虽然说nodej是Javascript在服务端的一种表现，严格来说算不上说是一种新的语言。连官方也说，其强大的性能来源于google的v8引擎。换句话说，以前Javascript在客户端的浏览器里运行。PC机器为浏览器预留了一大块内存空间，在浏览器建立了一个JavaScript解释器，也就是V8引擎。只是Ryna Dahl把这个引擎移动到了服务端。

了解完这个这个前提之后，就能揭开NodeJs的神秘面纱了。至于NodeJs于JavaScript在表现上有何异同，大家可以去参考相对基础的文章去了解基础知识。如果JavaScript还不太了解，还是建议阅读《JavaScript权威指南》（犀牛书虽然特别大部头，但是读起来特别爽快，就好像Javascipt大牛跟你面对面交流似得，好像他就知道你这里不懂，真是贴心到想哭）。学完了nodejs和一些核心包，以及数据库框架，终于准备动手做一些东西了。在做的过程中也对nodejs有了更深的了解，其中最大的坑也就是nodejs的异步执行，这也是nodejs的最大特点。后来了解到Promise这个Es6的新特性。可以让代码的流程执行的更加清晰明了。

推荐http://www.cnblogs.com/lvdabao/p/es6-promise-1.html

下面是使用nodejs抓取博客园前10页所有的文章标题和文章对应的链接。代码中有详细注释，有问题的可以评论区讨论。

var http = require('http');   //引入nodejs的http模块，该模块用于构建http服务和作为HttpClient使用。
var promise = require('promise'); //对异步编程进行流程控制，更加符合后端程序员的编程习惯。
var cheerio = require('cheerio'); //可以理解为服务端的Jquery。使用方法和客户端一样。

var url = 'http://www.cnblogs.com/#p'; //要抓取的网址。博客园的页数是通过添加锚点的，后面有拼接


//Promise 在任何情况下都处于以下三种状态中的一种：
//未完成（unfulfilled）、已完成（resolved）和拒绝（rejected）
//事件已完成则使用成功的callback（resolve）返回自身，失败了则
//选择使用callback(reject)来返回失败的自身。

function getPageList(url){
    //return Promise对象
    return new Promise(function(resolve,reject) {
        http.get(url,function(res) {
            var body = '';

            //当接受到数据的时候，http是执行范围请求的。所以每个范围请求就是一个chunk。
            res.on('data', function(chunk) {
                //buffer是一种node处理二进制信息的格式，不必理会。
                res.setEncoding('utf8'); //设置buffer字符集
                body += chunk;           //拼接buffer
            });

            //当整个http请求结束的时候
            res.on('end', function() {
                var $ = cheerio.load(body);  //将html变为jquery对象。
                var articleList = $('.post_item');
                var  articleArr = [];
                articleList.each(function() {
                    var curEle = $(this);
                    var title  = curEle.find('.post_item_body h3').text();  //获取标题
                    var href = curEle.find('.post_item_body h3 a').attr('href'); //文章链接
                    articleArr.push({
                        title:title,
                        href:href
                    });
                   

                });
                
                //成功的状态使用resolve回调函数。
                resolve(articleArr);

            });

            //当执行http请求失败的时候，返回错误信息
            res.on('error', function(e) {
                reject(e.message);
            });



        })
    })
}


//请求博客园前10页的数据。将所有的请求预先放置在集合内。
var list = [];
for(var i=1;i<=10;i++) {
    var url = url+i;
    list.push(getPageList(url));

}

//调用Promise的下面的all方法。参数是一个事件集合。
//Promise将会进行异步执行。但是最后的返回时机要根据最耗时的那个请求为标准。
//then(),可以接受两个参数（callback）.第一个参数是成功（resolved）的回调。
//第二个参数是执行上个操作失败（rejected）的回调。
Promise
    .all(list)
    .then(function(data) {
        console.dir(data);
    })

 以下是结果：

此前工作繁忙，这段时间空下来了。从今天起，将会陆续介绍nodejs或者是其他方面的东西。