查看百度或者谷歌是否来过网站，方法都比较简单。
一、检测百度是否光临过你的网站
登陆FTP，下载服务器目录下边的logs文件，解压成 .log并且用写字板打开，搜索一下蜘蛛的英文单词robots，假如能搜索得到，就证明百度蜘蛛曾经来过。
二、检测谷歌是否光临过的你的网站
在Google网站管理员指南里有这么一个小工具，通过它你可以知道Google爬虫机器人索引你的网站的时间和上一次抓取过你的网站页面的时间。这里可能有人会说，我在google搜索栏里输入“site:www.***.com”不就可以知道自己的网站被google索引的时间了吗？其实不然。因为在google爬虫机器人索引一个网站之后，是需要一段时间进行编排和处理，并不会马上在google搜索引擎中实时看到索引结果。因此，这个时候这个小工具可以为你提供很大的方便，这个工具叫Site status（https://www.google.com/webmasters/tools/sitestatus）。
大家只要按照步骤，上面的两个方法，就能够让你查看到你的网站是否被蜘蛛抓取过
修改IIS日志文件路径
window 2003+iis6.0 日志文件默认放在C:\WINDOWS\system32\Logfiles，如何修改日志文件路径呢？
1、启用日志记录
进入“Internet 信息服务（IIS）管理器”控制台界面，如下图，在控制台左边“网站”项目上点击鼠标右键，打开“网站 属性”设置窗口，在“网站”标签中，将“启用日志记录”前的复选框选中，再点击“应用”按钮，使设置生效，启用网站的日志记录功能。
启用网站的日志记录：是
2、活动日志格式设置
a)活动日志格式
在上图中，继续进行配置，将“活动日志格式(V)”设置为“W3C 扩展日志文件格式”，再点击“属性”按钮，进行日志记录属性配置。
活动日志格式：W3C扩展日志文件格式
b)日志记录属性
日志记录属性设置界面见下图，各设置项分别为：
新日志计划：每天
文件命名和创建使用当地时间：是
日志文件目录：默认路径为系统安装盘C:\Windows\System32\LogFiles目录，由于长期累计日志文件会非常大，因此建议不要将日志文件存放在默认的目录中，应该保存到特定的目录中，确保磁盘空间充足，并做好备份和维护工作。
在本项目中，日志文件保存路径设定为：D:\LogFiles
在设置了日志文件目录后，日志文件其实并不是直接保存在该目录下，系统会在设定的目录中根据需要建立不同的子目录，分别保存不同的日志文件，在下图中，日志文件名：W3SVCX\eyymmdd.log是站点的日志的实际存储路径。其中W3SVCX中的X表示不同的WEB站点的标识符，为数字，组合后目录名称为W3SVC1，W3SVC2等，文件名为字母e加上年月日。实际日志文件名例如：W3SVC1\e040626.log
相关链接：