robots.txt文件，robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。相信大部分站长都知道其作用，通过它可以让搜索引擎蜘蛛不抓取网站的部分目录或文件。需要提醒的是，网站的目录或文件并不是被抓取得越多越好。使用z-blog博客的博主很多忽略或者不知道怎么写robots文件，于是把自己使用的robots文件放出来供各博主参考下。如果你不知道怎么写，可以创建一个空白的纯文本文件robots.txt放在根目录下。