作为未来的SEO精英，你需要深入了解并充分利用robots.txt和网站地图，这些都是SEO的必备知识之一，龙阳总结了网站地图和robots.txt的各种相关问题，给大家参考。 一，关于robots.txt的相关问题1，如果网站以前某些页面被收录了，而现在我不想让搜索引擎收录。需要注意的事项：当你的网页已被收录，但想用robots.txt删除掉，一般需要1-2个月。结合Go

  Google Sitemaps是Google的一个和网站管理员相关的工具，有点象Blog的RSS功能，是一个方便自己的服务，如果排名SEO优化人员（互联网上所有的信息源）都采用了这种方式提交自己的更新的话，Google就再也不用派出那么多爬虫辛辛苦苦的到处乱窜了。任何一个站点，只要有更新，便会自动“通知”Google，方便Google进行索引。Google S

大家都知道,为了SEO做一个sitemap是必不可少的,那么有没有一个极其简单而又干净的方法呢?答案是肯定的. 我有好多站也是这样做的,而且不需要专门的下载什么SEO工具，安装什么东西的，直接在线生成。一次性生成一个站点地图，只需要你登陆一个专门提供网页地图的国外网站http://www.sitemapbuilder.net。登陆后,在中间的那个框里填上你需要生成地图的域名，然后点击右边黄色的按钮