搜索引擎蜘蛛(机器人)汇总
搜索引擎蜘蛛一般指网络爬虫,又称为网页蜘蛛或网络机器人,是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。
robots.txt 是一种纯文本格式的文件,使用任何一个常见的文本编辑器(比如Windows系统自带的记事本)就可以创建和编辑,它是搜索引擎进入网站后第一个爬取的文件,通常放置于网站根目录下。
例如新宝库的位置为:https://www.xinbaoku.com/robots.txt
注意:蜘蛛到我们网站爬行的频率越高,证明搜索引擎给予我们网站的权重就越高。
常见的搜索引擎蜘蛛名称如下:- 百度蜘蛛:Baiduspider
- 雅虎蜘蛛:Yahoo! Slurp China或Yahoo!
- 谷歌蜘蛛:Googlebot
- 有道蜘蛛:YoudaoBot或YodaoBot
- 360蜘蛛:360Spider
- MSN蜘蛛:msnbot
- 搜狗蜘蛛:Sogou News Spider
- 必应蜘蛛:bingbot
robots.txt
robots.txt 即蜘蛛协议,全称为“网络爬虫排除标准”(Robots Exclusion Protocol),也称为爬虫协议、机器人协议等,其作用是告知搜索引擎允许或不允许抓取哪些页面。robots.txt 是一种纯文本格式的文件,使用任何一个常见的文本编辑器(比如Windows系统自带的记事本)就可以创建和编辑,它是搜索引擎进入网站后第一个爬取的文件,通常放置于网站根目录下。
例如新宝库的位置为:https://www.xinbaoku.com/robots.txt
所有教程
- C语言入门
- C语言编译器
- C语言项目案例
- 数据结构
- C++
- STL
- C++11
- socket
- GCC
- GDB
- Makefile
- OpenCV
- Qt教程
- Unity 3D
- UE4
- 游戏引擎
- Python
- Python并发编程
- TensorFlow
- Django
- NumPy
- Linux
- Shell
- Java教程
- 设计模式
- Java Swing
- Servlet
- JSP教程
- Struts2
- Maven
- Spring
- Spring MVC
- Spring Boot
- Spring Cloud
- Hibernate
- Mybatis
- MySQL教程
- MySQL函数
- NoSQL
- Redis
- MongoDB
- HBase
- Go语言
- C#
- MATLAB
- JavaScript
- Bootstrap
- HTML
- CSS教程
- PHP
- 汇编语言
- TCP/IP
- vi命令
- Android教程
- 区块链
- Docker
- 大数据
- 云计算