robots.txt只可以放进根目录下面吗? | 胡鹏博客
首页 > seo技术 > robots.txt只可以放进根目录下面吗?
2012八月24

robots.txt只可以放进根目录下面吗?

有很多人在用robots.txt文件的时候不知道只能放在根目录,还是只要是放在上一层目录就可以啦,现在胡鹏博客就在这里和大家分享一下到底是要放在哪里及怎么写?

具相关咨询显示搜索引擎只会在根目录下找robots.txt文件。因为robots.txt就是搜索引擎访问你的网站时第一要看的文件.
FTP默认进去的并不是网站根目录,一般的服务器会有WWW这个目录,这个目录下存放着所有的网站程序文件,这个才是网站的根目录
或者说将robots.txt文件放在你的网站首页文件同一个目录下,网站首页文件一般是index命名的.
我们拿dedecms下面默认的robots.txt说明一下
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
User-agent:该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录.
Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/plus/ad_js.php"禁止robot访问/plus/ad_js.php.
Allow: 该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。
User-agent,Disallow,Allow: 这三个参数是robots.txt下面最重要的三个参数,我们应该要了解.

更多

文章作者:东莞seo
本文链接地址:http://www.seostudying.com/824.html
欢迎转载,转载请注明出处»胡鹏博客 [robots.txt只可以放进根目录下面吗?]

本文目前尚无任何评论.
您必须在 登录 后才能发布评论.