背景
美国国安局通过“棱镜”计划大范围收集并监控网络和电话用户信息,包括邮件、聊天记录、视频、照片、存储数据、文件传输、视频会议、登录时间和社交网络资料等,涉及九大互联网公司,微软、雅虎、Google、Facebook、PalTalk、YouTube、Skype、AOL、苹果都在其中。
除了上述9家企业,更有媒体将矛头指向思科。此前有消息显示,斯诺登披露,美国国家安全局通过思科路由器监控中国网络和电脑。
思科面对这些指控否认称,“棱镜”项目不是思科项目,思科网络没有参与此项目。此外,思科没有在中国或世界任何地方监控普通公民或政府部门的通讯。
思科虽然否认参与棱镜项目,但是没有否认这样的事实:思科产品有网络侦听功能,而且存在后门。其实,无论参与还是不参与,思科都能有能力和条件监控互联网。有没有枪是一回事,参没参与杀人是另外一回事。思科否认了自己杀人,但是没有否认自己有枪。
微博、论坛棱镜计划
设计
使用网络爬虫抓取新浪微博、腾讯微博的用户资料以及用户的微博,存入数据库。抓取各个论坛、博客站点的用户信息和文章等信息存入数据库。利用数据库中的相关信息,将用户的微博、论坛、博客等关联起来,以便方便准确的监控用户网络活动。
如何抓取用户数据?
方法一、自己动手开发一套网络爬虫程序,智能抓取微博、论坛的用户数据;
- 优点:智能抓取,性能高,监控范围广
- 难点:开发成本高,周期长
方法二、利用已有的工具(xyz),编写自动化采集程序,抓取微博、论坛的用户数据;
- 优点:成本低,通用性不高,监控范围小
- 难点:性能低,维护性低