public marks

PUBLIC MARKS with tags spider & robot

2012

2006

2005

robots.txt用法

by stane
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定

PUBLIC TAGS related to tag spider

for:smartino +   ip +   search +  

Active users

jdrsantos
last mark : 13/07/2012 08:49

jmfontaine
last mark : 29/11/2006 08:28

stane
last mark : 27/12/2005 07:23