purplejade

如题。。。

fanjade

利用：robots.txt呀
pjblog文件里有的只要你加条不收录隐藏日志文件OK了

        
下面为引用部分
______________________________________________________________________________________
在一个网站里，robots.txt是一个重要的文件，每个网站都应当有一个设置正确的robots.txt。
当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件呢？
让我们看一个例子：
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file

有#号的都是注释，方便阅读。
User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。

[ 本帖最后由 fanjade 于 2008-7-28 12:12 编辑 ]

purplejade

谢谢楼上的，但是我还是不太明白，我的日志都是数据库的一条记录，也没有特定的文件
如果把日志分类的链接写进去，如Disallow:default.asp?cateID=3，这样好像也不能阻止抓取这个分类下的日志啊，难道要把日志的ID都加进去吗？就像这样：Disallow:/article.asp?id=2，这样或许可以吧，那是不是每写一个隐藏日志就要加一条进去呢？

好大工作量哦。。。

fanjade

这个问题可以请教PJ开发者

mp3lt

定一个robots.txt 文件，就全部不收录了