4-2 setting中一定要将ROBOTSTXT_OBEY = False的注释去掉

# Obey robots.txt rules##默认遵循robots协议的，默认去读取每个网站上的robots协议
ROBOTSTXT_OBEY = False

相关阅读:
入门activiti-------1简单运行
 JS对象、构造器函数和原型对象之间的关系
 myeclipse配背景色
 maven的pom.xml文件错误
 oracleXE简易版---使用基础
 ognl表达式注意事项
 Executors、ExecutorService、ThreadPoolExecutor
ThreadPoolExecutor
Phaser相位（工具的实战案例使用）
ForkJoin
原文地址：https://www.cnblogs.com/xudj/p/10163723.html

Copyright © 2020-2023 润新知