robots是什么?robots.txt怎么写?

一、什么是robots.txt?robots是网站和搜索引擎协议的纯文本文件,当一个搜索引擎蜘蛛来访问站点的时候,首先爬行检查根目录是否存在这个文件。如果存在的话,那么就会根据文件的内容来确定访问范围,如果没有的话蜘...