Robots.txt 协议—百度之星

题目描述

搜 索引擎是靠 Web Robot （又称 Spider ）来收集互联网上浩如烟海的网页的。 Spider 就像一个旅行家一般，不知疲倦地奔波于万维网的空间，将遇到的页面收集下来供搜索引擎索引。对于一个网站的管理员来说，如果希望搜索引擎只收录自己指定的 内容，或者指定某些不希望搜索引擎访问的内容，该如何去做呢？他需要的就是 Robots Exclusion Protocol 协议，这里简单的称它做 Robots.txt 协议。

Robots.txt 是一个放置在网站根目录下的纯文本文件。举例来说，当 Spider 访问一个网站（比如 http://www.example.com ）时，首先会检查该网站中是否存在 http://www. example.com/robots.txt 这个文件，如果 Spider 找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

www.robotstxt.org 是 robots.txt 协议的 Home Page ，在这个站点上你可以找到很多 robots.txt 协议相关的资料。 Robots.txt 协议在 http://www.robotstxt.org/wc/norobots.html 上有比较详尽的描述。

你的任务就是编写 Spider 中的一个逻辑单元，这个单元的作用就是来判断一个网站的一些 URL 是否被禁止抓取。对方网站的站点在这里假设是 www.example.com ， 这个 Spider 的 User-agent 当然是 Baiduspider 。注意，这个逻辑单元除了本身的判断逻辑要求与 robots.txt 协议一致外，还要注意容错的问题。互联网上纷繁芜杂，会出现很多意想不到的错误。如何能够对一个对错参半的 robots.txt 进行解析，把其中正确的挑拣出来、把错误的部分忽略掉，也是一个不小的挑战哦。都会遇到什么错误？在开始爬行互联网之前，谁都不知道。

 

输入格式

第一行是一个正整数 m ，表示 robots.txt 文件的行数，后面跟 m 行，是 robots.txt 的全文。下一行包含一个正整数 n ， 表示 URL 的行数，后面跟 n 行 URL ，这个就是你要判断的 URL 的列表。

 

输出格式

每条 URL 输出一行，每行两列，第一列是一个数字，如果这条 URL 被禁止，则输出 0 ，否则输出 1 。第二列是这条 URL 本身。

 

输入样例

2

User-agent: *

Disallow: /tmp/

2

http://www.example.com/index.html

http://www.example.com/tmp/somepage.html

 

输出样例

1 http://www.example.com/index.html

0 http://www.example.com/tmp/somepage.html

 

评分方法

本题包含 20 组数据，均满足 0<=n,m<=100 。

这个题看上去简单，但是不容易考虑周全，robots.txt中可能有很多陷阱，当然我也没有心思去考虑周全，本来开始是读取文件的，后来认真读题发现是标准输入，又改了下，大致程序如下，只对正确的格式作出判断，有错误的地方以及多个robots就没办法了：

#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <map>

using namespace std;

int main(int argc, char *argv[])
{
    string s = "\n";
    vector<string> v;
    //ifstream fin("Robots.txt");

    int i;
    cin>>i;
    string first, second;
    int count = 0;
    while (count<i)
    {
        cin>>first>>second;
        if (first.find("Disallow")==0)
        {
            v.push_back(second);
            //cout<<"disallow: "<<word<<endl;
        }
        getline(cin, s);
        //cout<<s<<endl;
        count++;
    }
    count = 0;
    cin>>i;
    //cout<<i<<endl;
    vector<string> hv;
    string http;
    while (count<i)
    {
        cin>>http;
        hv.push_back(http);
        count++;
    }
    for (vector<string>::iterator h=hv.begin();h!=hv.end();++h )
    {
        int b = 1;
        for(vector<string>::iterator i=v.begin();i!=v.end();++i)
        {
            if((*h).find(*i)!=string::npos)
            {
                b = 0;
                break;
            }
        }
        cout<<b<<" "<<*h<<endl;
    }
   
       
       
    return 0;
}

对于如下的简单robots是没有问题的：

2
User-agent: *
Disallow: /tmp/
5
http://www.example.com/index.html
http://www.example.com/tmp/somepage.html
http://www.example.com/index.html
http://www.example.com/tmp/somepage.html
http://www.example.com/index.html