网站收录

要添加sitemap文件，和robots.txt文件，要让爬虫知道你的网站的目录结构。否则你的网站收录的页面会很少的