• NETSpider 网络蜘蛛采集工具


    NETSpider网站数据采集软件是一款基于.Net平台的开源软件。
    软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.
    NETSpider采摘当前提供的主要功能如下:

    1. 多任务多线程数据采集,支持POST方式(待定);
    2. 可采集Ajax页面;
    3. 支持Cookie,支持手工登录采集数据;
    4. 支持采集事务;
    5. 支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等;
    6. 支持在线发布数据;
    7. 支持导航网址的采集,导航深度不限;
    8. 支持自动翻页;
    9. 支持文件下载,可以采集图片、Flash及其他文件;
    10. 支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;
    11. 采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;
    12. 支持一个任务多实例运行;
    13. 提供计划任务,计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中);
    14. 计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时;
    15. 支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。
    16. 完善的日志功能:系统日志、任务执行日志、出错日志等等;

    17. 系统提供MINI浏览器可用于捕获Cookie或POST数据;


    NETSpider采集器并不限制您是否商用此软件,源码完全开放,

    ===================以下为更新内容===================================

    1. NETSpider于2014年10月1日开放

     

    相关源码下载:http://git.oschina.net/kingkoo1985/NETSpider/

    1.目前这个版本还有很多的验证未做处理,没有时间(花了两周的样子写成这样子),所以添加的时候请按规定填写数据

    2.还有部分功能未实现.等有空我会继续完善的

  • 相关阅读:
    数据结构与算法(一):初识算法和计算模型
    Flutter学习笔记(41)--自定义Dialog实现版本更新弹窗
    Mybatis-Plus简介及HelloWorld实现(附视频教程)~连载中
    “乐观锁”解决高并发下的幂等性问题(附java实测视频教程)
    git merge&rebase区别
    GIT TAG标签使用
    idea操作github远程库分支
    idea操作GIT本地库分支操作
    eclipse GIT本地库分支操作
    git分支操作命令
  • 原文地址:https://www.cnblogs.com/bjgua/p/5848977.html
Copyright © 2020-2023  润新知