Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt?

05-03 381阅读 0评论

对于新站而言,robots.txt还是一个比较重要的部分,它可以屏蔽与限制部分蜘蛛的抓取,由于新站上线,蜘蛛的抓取频率相对较低,为了尽量让其抓取有效资源,你可能需要屏蔽部分不那么重要的内容。

我们搭建好一个网站,搜索引擎爬取我们页面的工具叫做搜索引擎机器人,也就是所谓的“蜘蛛”,蜘蛛在爬取网站页面之前,会先去访问网站根目录下面的一个文件,这个文件其实就是给“蜘蛛”的规则,也就是robots.txt,如果没有这个文件,蜘蛛会认为你的网站同意抓取全部网页。

Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt? Z-blog博客 ZBlogPHP robots.txt 第1张

这样就会为日后的运营,埋下隐患,比如:

1,新站无栏目无内容,被收录,影响站点质量评定;

2,产生大量重复页面,动态链接被抓取。

robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。今天红尘资源网就讲解一下,Z-blog博客程序中如何设置robots.txt文件

robots.txt文件是一个纯文本文件,如果网站根目录有这个文件,那么就可以告诉蜘蛛哪些页面可以爬取(收录),哪些页面不能爬取。

例如:建立一个名为robots.txt的文本文件,然后输入内容User-agent: //*星号说明允许所有搜索引擎收录

Disallow: index.php? //表示不允许收录以index.php?前缀的链接,比如index.php?=1

Disallow: /zb_system/ //表示不允许收录根目录下的zb_system目录,包括目录下的文件,比如zb_system/232.html

具体关于robots.txt文件的相关设置,你可以参考百度官方文档,百度搜索资源平台->网站支持->数据监控->robots

Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt? Z-blog博客 ZBlogPHP robots.txt 第2张

那么针对于ZBlogPHP网站的robots.txt该怎么写呢?

写robots.txt规则之前,要先了解zblog 所包含的文件,文件夹以及它们的作用是什么。以下图片所展示的内容,为全新的ZBlogPHP博客安装包,所包含的文件夹以及文件。

Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt? Z-blog博客 ZBlogPHP robots.txt 第3张

feed.php : RSS Feed 入口文件

index.php : 前端页面入口文件

search.php : 搜索入口文件

zb_install 文件夹:zblog 初始化安装文件夹,安装完毕会自动删除,或手动删除

zb_system 文件夹:为 zblog 框架的主要文件,需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取

zb_users 文件夹:为 zblog 为用户文件夹,里面包含了主题文件夹,插件文件夹,以及附件存放文件夹。

Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt? Z-blog博客 ZBlogPHP robots.txt 第4张

avatar :用户头像文件夹

cache :缓存文件夹

data :数据文件夹(屏蔽蜘蛛)

emotion :表情文件夹

language :语言包文件夹(屏蔽蜘蛛)

logs :目志文件夹,里面文件是记录错误的(屏蔽蜘蛛)

plugin :插件文件夹

theme :主题文件夹

upload :附件文件夹(图片或其它类型文件)

robots.txt安装与效验

robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的,否则是没有什么作用的。

安装方法

1、本地新建‘文本文档’并命名为 'robots.txt' 把上面的内容复制,保存即可

2、把 'robots.txt'文件上传到服务器的网站根目录即可

rotots.txt文件效验

可以通过百度搜索资源平台进行效验

Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt? Z-blog博客 ZBlogPHP robots.txt 第5张

Z-blog博客的robots.txt文件的写法,怎么写ZBlogPHP网站的robots.txt? Z-blog博客 ZBlogPHP robots.txt 第6张

其中网址www.hcw3.cn换成你自己的域名,写好后把文件存放或上传到网站根目录即可,sitemap.xml可以通过插件生成,应用中心有专门的插件。

下载量 : 12  |  文件类型 : 压缩文件  
文章版权声明:除非注明,否则均为红尘资源网原创文章,转载或复制请以超链接形式并注明出处。
广告合作联系站长QQ:908819363
广告合作联系站长QQ:908819363

发表评论

表情:
评论列表 (暂无评论,381人围观)

还没有评论,来说两句吧...

目录[+]

取消
微信二维码
微信二维码
支付宝二维码