织梦DedeCMS内容管理系统，安装后生成有一个robots.txt文件。但初始的robots文件设置比较简单，不能完全满足生产要求，尤其是对于使用伪静态的网站来说，robots.txt文件的优化尤为重要？

User-agent: *       开始配置：所有搜索引擎
Disallow: /dede    禁止所有搜索引擎访问织梦管理后台目录，需要改名，具体设置在下面详细说明
Disallow: /include 禁止所有搜索引擎访问程序核心文件目录
Disallow: /member 禁止所有搜索引擎访问会员管理目录，有些文件可以开放,如果不使用会员功能，建议删除该文件夹
Disallow: /plus    禁止所有搜索引擎访问插件及辅助功能目录
Disallow: /templets   禁止所有搜索引擎访问织梦模板文件存放目录
Disallow: /data   禁止所有搜索引擎访问系统缓存或其它可写入数据存放目录
Disallow: /uploads   禁止所有搜索引擎访问上传下载文件保存目录,不想搜索引擎引用图片的话，禁止
Disallow: /images   禁止所有搜索引擎访问系统默认模板图片存放目录
Disallow: /index.php  禁止所有搜索引擎访问网站默认首页，静态化的话，最好禁止
Disallow: /404.html    禁止所有搜索引擎访问404错误页面
Disallow: /index.php 默认首页文件，如果有做html静态化的话，就可以直接屏蔽掉
Disallow: /tags.php 标签文件，也可以屏蔽掉
Allow: /plus/search.php    允许禁止目录里的部分文件

着重进行后台管理目录栏目页Robots设置：

　　1、dede目录是DEDECMS默认后台管理目录，考虑网站安全需改名。然而改名之后，大家不免疑惑：改了名，应该在robots.txt文件里怎么设置禁止搜索引擎抓取呢？如果直接禁止抓取，就泄露了后台目录，等于改名无效。
我们可以通过下面的设置解决这个问题，例如后台目录为dedecms：

　　在robots.txt文件里面加上Disallow: /d*ms这句就可以了。

　　这样就能禁止搜索引擎抓取管理目录，同时违法份子又猜不到管理目录。

　　2、栏目页。有些人会注意到，如果网站不做伪静态优化的话，栏目分页后会有两个链接指向栏目首页，如*/web/和*/web/list_1_1.html，为了网站优化，建议先将栏目分页优化以下(具体做法大家可以在网上找)，把首页和第一页的链接改为*/web/的形式，然后在robots.txt文件里做以下设置:

　　在robots.txt文件里面加上“Disallow: /list_*_1.html$“这句。

　　以上就是DEDECMS robots.txt文件的设置，大家可以根据自己网站的情况具体设置。

注意事项：

1.为安全起见，最好按官方说明设置好网站目录权限；强烈建议data/common.inc.php文件属性设置为644（Linux/Unix）或只读（NT）；

2.后台目录改后的名称开头字母和结尾字母不要和其他目录有相同之处；

3.设置完成后最好用百度站长工具或爱站网测试工具，测试一下robots.txt文件设置的有效性