- “User-Agent”搜索引擎的名字。
- 针对所有搜索引擎写法：User-Agent: *，针对百度搜索引擎写法：User-Agent:Baiduspider
- “Allow”允许抓取。例：允许抓取news目录，参考写法：Allow: /news
- “Disallow”禁止抓取。例：禁止抓取admin目录，参考写法：Disallow: /admin
-
robots书写说明：
赞赏码
非学，无以致疑；非问，无以广识
-
相关阅读:
LeetCode第三题:Longest Substring Without Repeating Characters
LeetCode第二题：Add Two Numbers
LeetCode第一题：Two Sum
第五章 单体内置对象
第五章 引用类型 基本包装类型
第五章 引用类型 Function 类型
第五章 引用类型 RegExp 类型
第五章 引用类型 Date类型
第五章 引用类型 Array类型
第五章 引用类型 Object类型
- 原文地址：https://www.cnblogs.com/lxwphp/p/15454980.html