Url重写 与 google yahoo 蜘蛛(3)

原文英:http://todotnet.com/archive/0001/01/01/7472.aspx?Pending=true

原文法:http://blogs.developpeur.org/nix/archive/2006/07/01/DOTNET_2_GoogleBot_Crash_Bug_Pas_seulement_googlebot.aspx
当userAgent 是 Mozilla/5.0 的时候 asp.net调用的是 System.Web.UI.Html32TextWriter
如果是其它的 userAgent asp.net调用的是  System.Web.UI.HtmlTextWriter
System.Web.UI.Html32TextWriter这个里面有一个bug
临时的解决方法:
在vs2005里面我们可以创建一个.browser文件
步骤
创建一个App_Browser文件夹.添加一个新的文件yahooslurp.browser
添入

<!--

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

-->

<browsers>
<browser id="Slurp" parentID="Mozilla">
<identification>
<userAgent match="Slurp" />
</identification>
<capabilities>
<capability name="browser" value="Yahoo!Slurp" />
<capability name="Version" value="4.0" />
<capability name="MajorVersion" value="4" />
<capability name="MinorVersionString" value="" />
<capability name="MinorVersion" value=".0" />
<capability name="activexcontrols" value="true" />
<capability name="backgroundsounds" value="true" />
<capability name="cookies" value="true" />
<capability name="css1" value="true" />
<capability name="css2" value="true" />
<capability name="ecmascriptversion" value="1.2" />
<capability name="frames" value="true" />
<capability name="javaapplets" value="true" />
<capability name="javascript" value="true" />
<capability name="jscriptversion" value="5.0" />
<capability name="supportsCallback" value="true" />
<capability name="supportsFileUpload" value="true" />
<capability name="supportsMultilineTextBoxDisplay" value="true" />
<capability name="supportsMaintainScrollPositionOnPostback" value="true" />
<capability name="supportsVCard" value="true" />
<capability name="supportsXmlHttp" value="true" />
<capability name="tables" value="true" />
<capability name="vbscript" value="true" />
<capability name="w3cdomversion" value="1.0" />
<capability name="xml" value="true" />
<capability name="tagwriter" value="System.Web.UI.HtmlTextWriter" />
</capabilities>
</browser>
</browsers>

尝试一下应该是可以了
另外作者还介绍了一个模拟的工具 可以代替我前篇文章提到的 哪个模拟代码
Fiddler 下载地址：http://www.fiddlertool.com/fiddler/

后记:原来第一篇的文章就有人介绍了这个地址. 他加了几个字"弄虚做假" 结果原文没有看下去.,自己多走了一些路

<userAgent match="Mozilla/5.0" /> 这个是有支正则语法的