---恢复内容开始---
/* * 功能:定向采集某些网页的数据入库 * 时间:2013-4-27 * 作者:lovelover * 操作: 按照以下顺序执行 1、建立数据源的目标数据库,导入sql。 2、 ./shstart_daxiao.sh #(检测save文件夹大小 以便控制larbin的实时开关) ./shstart_getcode.sh #(提取网页标题和内容 入库) ./shstart_jiance.sh #(打开检测save文件夹有新增文件没) ./shstart_killallphp #(定时杀死php保证鲜活度) 关闭larbin进程用 killall larbin 结束 限定某一单一网站提高效率: 1、将larbin.conf里面的waitDuration设置为1 2、将types.h里面的maxUrlsBySite修改为254; 3、main.cc 数字改成 30 15 4、larbin.conf #noExternalLinks */
---恢复内容结束---