用C#写ASP.NET搜索蜘蛛代码程序

protected bool robot()  

    {  

        bool brtn = false;   

        string king_robots = "Baiduspider+@Baidu|Googlebot@Google|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|sohu-search@Sohu|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN";  

        string ls_spr;  

        ls_spr=Request.ServerVariables["http_user_agent"].ToString();  

        char[] delimiterChars = { "|" };  

        char[] x = { "@" };  

        string[] I1 = king_robots.Split(delimiterChars);  

        for (int i = 0; i < I1.Length; i++)  

        {  

            string[] spider = I1[i].Split(x);  

            if (ls_spr.IndexOf(spider[0].ToString()) > -1)  

            {  

                brtn = true;  

                logrobots(spider[1].ToString());  

                break;  

            }  

        }  

        return brtn;  

    }  

    protected void logrobots(string spr)  

    {  

        spr = DateTime.Now.ToString() + "|" + spr;  

        StreamWriter sw;  

        try  

        {  

           sw = new StreamWriter(Server.MapPath("log.txt"), true, System.Text.Encoding.GetEncoding("gb2312")); //参数为false重写，为true在后面加入               sw.WriteLine(spr);  

            sw.Close();  

        }  

        finally  

        {  

        }  

    }  

完成。 

下面的为在别的网站上加链接。只有蜘蛛看到。 

protected void addcontent()  

    {  

        StreamReader sr ;  

        try  

        {  

            sr = new StreamReader(Server.MapPath("logurl.txt"), System.Text.Encoding.GetEncoding("gb2312"));  

            String input;  

            char[] UPer = { "|" };  

            char[] xx = { "@" };  

            while ((input = sr.ReadLine()) != null)  

            {  

                sb = sb + "<p>";  

                string[] url = input.Split(UPer);  

                for (int i = 0; i < url.Length; i++)  

                {  

                    string[] tt = url[i].Split(xx);  

                    if (tt[0].Length > 0)  

                    {  

                        sb = sb + "<a href=" + tt[0].ToString() + " target=_blank>" + tt[1].ToString() + "</a>|";  

                    }  

                }  

                sb = sb + "</p>";  

            }  

            sr.Close();  

        }  

        finally  

        {  

        }  

    }