纷享阁资源网 发表于 2019-3-16 11:35:36

Robots.txt 文件应放在哪里？

Robots.txt 文件必须放在网站的根目录。
       
        放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
       
        比如：
       
        http://www.dede58.com/robots.txt有效
       
        http://www.dede58.com/bbs/robots.txt无效
       
        如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
页: [1]
查看完整版本: Robots.txt 文件应放在哪里？