如何查看网站被百度抓取的情况?

如何查看网站被百度抓取的情况?

 百度用于抓取网页的程序叫做Baiduspider-百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。查看日志的方式:通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,...