初学nodejs---http小爬虫

//HTTP小爬虫
//×××××类似 $.AJAX××××××


var http = require('http'); //加载http模块

var cheerio = require('cheerio');//加载第三方模块 cheerio 类似JQuery

// 安装方法 npm install cheerio


function printCourseInfo(courseData) {//打印函数 传入获取数据
    courseData.forEach(function(item) {//循环打印
        var chapterTitle = item.chapterTitle;

        console.log(chapterTitle + '
');

        item.videos.forEach(function(video) {
            console.log('[' + video.id + ']' + video.title + '
');
        })
    })
}


function fliterChapters(html) {//数据筛选函数

    var $ = cheerio.load(html);

    var chapters = $('.chapter')//获取元素


//目标数据结构
    /*    [{
            capterTitle:'',
            videos:'',
            id:''
        }]*/

    var courseData = [];//存放数组


    chapters.each(function(item) {
        var chapters = $(this);

        var chapterTitle = chapters.find('strong').text();


        var videos = chapters.find('.video').children('li');

        var chapterData = {
            chapterTitle: chapterTitle,
            videos: []
        }

        videos.each(function(item) {
            var video = $(this).find('.J-media-item');
            var videoTitle = video.text();
            var id = video.attr('href').split('video/')[1]


            chapterData.videos.push({
                title: videoTitle,
                id: id
            })
        })


        courseData.push(chapterData);
    })

    return courseData//数据拼接完成并返回

}

//目标url
var url = 'http://www.imooc.com/learn/348';//慕课网



//使用get方法
http.get(url, function(res) {//get方法爬取代码
    var html = '';

    res.on('data', function(data) {//获取数据事件
        html += data;
    })

    res.on('end', function() {//获取结束事件
        var courseData = fliterChapters(html);

        printCourseInfo(courseData);
    })

}).on('error', function() {
    console.log('获取错误！');//报错
})