1. 合法性：抓取的数据用于个人使用，不存在问题；数据用于转载，需注意抓取的数据类型。
一般情况，抓取的真实数据（营业地址，电话清单等）允许转载。而原创数据（比如意见和评论）受版权限制不能转载。
2. 背景调研：第一，检查robots.txt；第二，检查网站地图sitemap； 第三，估算网站大小(site:aws.amazon.com)；第四，识别网站所用技术(builtwith模块)；第五，寻找网站所有者。
3. 3种常见方法：爬取网站地图；遍历每个网页的的数据库ID；跟踪网页链接。
1. 合法性：抓取的数据用于个人使用，不存在问题；数据用于转载，需注意抓取的数据类型。
一般情况，抓取的真实数据（营业地址，电话清单等）允许转载。而原创数据（比如意见和评论）受版权限制不能转载。
2. 背景调研：第一，检查robots.txt；第二，检查网站地图sitemap； 第三，估算网站大小(site:aws.amazon.com)；第四，识别网站所用技术(builtwith模块)；第五，寻找网站所有者。
3. 3种常见方法：爬取网站地图；遍历每个网页的的数据库ID；跟踪网页链接。