nodejs 笔记一

实现一个自动抓取Nodejs api 文档，用于本地查阅

目录结构：

一：抓取官网api列表

地址：http://nodeapi.ucdok.com/api/_toc.json

//获取目录
var http= require('http')
var bufferhelper= require('./bufferhelper.js')
var fs= require('fs') 
//获取目录
http.get('http://nodeapi.ucdok.com/api/_toc.json',function(req){  
    var _b = new bufferhelper()
    req.on('data',function(d){ 
        _b.concat(d)
    }) 
    req.on('end',function(){
        getList(_b.toBuffer().toString('utf8'))
    })
}).on('error',function(e){
    console.log('error:'+e.message)
})

function getList(file){
    var _sj=[];
    var _j=JSON.parse(file);
    _j.desc.forEach(function(item){
        if(item.type=='text'){
            _sj.push(item.text)
        }
    })
    fs.writeFile('json/list.json', JSON.stringify(_sj), function (err) {
        if (err) throw err 
        console.log('load ok')
    })
} 

 二：通过列表拿到具体的条目

//通过目录下载子目录
var http= require('http')
var bufferhelper= require('./bufferhelper.js')
var fs= require('fs') 

fs.readFile('json/list.json',function(err,data){
    if(err) throw err;
    var _j=JSON.parse(data);
    _j.forEach(function(item){ 
        var _url=item.match(/([^]]*)/g); 
        var _s=_url[_url.length-1];
        _s=_s.substr(1,_s.length-6); 
        getUrl(_s);
    })
})
function getUrl(url){
    http.get('http://nodeapi.ucdok.com/api/'+url+'json',function(req){  
        var _b = new bufferhelper()
        req.on('data',function(d){ 
            _b.concat(d)
        }) 
        req.on('end',function(){
            getList(_b.toBuffer().toString('utf8'),url)
        })
    }).on('error',function(e){
        console.log('error:'+e.message)
    })

}

function getList(file,url){ 
    fs.writeFile('json/list/'+url+'json', file, function (err) {
        if (err) throw err 
        console.log('load '+url+'json ok')
    })
} 

三：建个本地站点来展示拿到的数据。

1：写个web服务，简单实现，主要是能请求文件和请求方法。从网上找了两个文件，bufferhelper.js buffer辅助类,mine.js 处理请求文件格式

var http = require('http');
var url=require('url');
var fs=require('fs');
var mine=require('./mine').types;
var config=require('./mine').config;
var path=require('path'); 

var handle =function(request,response){ 
    var pathname = url.parse(request.url).pathname;
    var realPath = path.join("./", pathname); 
    console.log('realPath:'+realPath);
    var ext = path.extname(realPath); 
    ext = ext ? ext.slice(1) : 'unknown'; 
    console.log('ext:'+ext);
    
    if(ext=='unknown'){
        //realPath上一级为文件，最后为请求的方法名 
        var control=path.dirname(realPath); 
        var cpath=path.join("./",control+'.js'); 
        fs.exists(cpath,function(exists){
            if (!exists) {
                response.writeHead(404, {
                    'Content-Type': 'text/plain'
                }); 
                response.write("This request URL " + cpath + " was not found on this server.");
                response.end();
            }else{
                var action=require('./'+control)[path.basename(realPath)];
                try{
                    action(request,response);
                }catch(err){
                    var errMsg= 'Error:'+ new Date().toISOString() +''+ request.url + err.stack || err.message || 'unknow error';
                    response.write(errMsg);
                    response.end();    
                }  
            }
        }); 
    }
    else{
        fs.exists(realPath, function (exists) { 
            if (!exists) {
                response.writeHead(404, {
                    'Content-Type': 'text/plain'
                }); 
                response.write("This request URL " + pathname + " was not found on this server.");
                response.end();
            } else {  
                fs.readFile(realPath, "binary", function (err, file) {
                    if (err) {
                        response.writeHead(500, {
                            'Content-Type': 'text/plain'
                        });
                        response.end(err);
                    } else {
                        var contentType = mine[ext] || "text/plain";
                        response.writeHead(200, {
                            'Content-Type': contentType +';charset=utf-8'
                        }); 
                        response.write(file, "binary");
                        response.end();
                    }
                });
            }
        });
    }
}

var server =http.createServer(); 
server.on('request',function(req,res){
    try{
        handle(req,res);
    }catch(err){
        var errMsg= 'Error:'+ new Date().toISOString() +''+ req.url + err.stack || err.message || 'unknow error';
        console.error(errMsg);
        res.end(errMsg);
    }
}); 
server.listen(8888,'127.0.0.1',function(){
    console.log('listen: 127.0.0.1:8888');
});

2：webserver-start.cmd 用来启动服务，就一行代码

@echo off
node %cd%webserver.js
pause

3：然后了，文件就down到本地了，做个简单页面测试下。这里用了下 window.onhashchange事件 

<body>
    <div id='main'>
        
    </div>
</body>
<script>
    $(function(){
        var h=window.location.hash;
        if(h!=''){
            getjson();
            return;
        }
        getList();
    });
    
    window.onhashchange=function(e){
        getjson();
    };
    
    function getjson(){
        var h=window.location.hash;
        if(h==''){
            getList();
            return;
        }
        h=h.substr(1);
        $.get('../json/list/'+h+'.json',function(j){ 
            $('#main').empty().append(JSON.stringify(j));
        });
    }
    
    function getList(){
        $.get('../json/list.json',function(j){
            var ul=$('<ul></ul>');
            var list='';
            j.forEach(function(item){
                var _url=item.match(/([^]]*)/g); 
                var _s=_url[_url.length-1];
                _s=_s.substr(1,_s.length-7); 
                list+='<li><a href="#'+_s+'">'+item+'</a></li>';
            });
            ul.append(list);
            $('#main').empty().append(ul);
        });
    }
</script>

 大概先出个效果

 

作者：zc

出处：http://www.cnblogs.com/jmzs/

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。