robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。今天合肥网站优化小编来跟大家具体介绍，robots.txt。
　　第一：什么是robots.txt?
　　这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。
　　第二：robots.txt有什么用
　　为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。说到底了，这些页面或文件被搜索引擎收录了，用户也看不了，多数需要口令才能进入或是数据文件。既然这样，又让搜索机器人爬行的话，就浪费了服务器资源，增加了服务器的压力，因此我们可以用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验。
　　1，用robots屏蔽网站重复页
　　很多网站一个内容提供多种浏览版本，虽然很方便用户却对蜘蛛造成了困难，因为它分不清那个是主，那个是次，一旦让它认为你在恶意重复，你就惨了
　　User-agent： *
　　Disallow： /sitemap/ （禁止蜘蛛抓取 文本网页）
　　2，用robots保护网站安全
　　很多人纳闷了，robots怎么还和网站安全有关系了？其实关系还很大，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标
　　User-agent： *
　　Disallow： /admin/ （禁止蜘蛛抓取admin目录下所有文件）
　　3，防止盗链
　　一般盗链也就几个人，可是一旦被搜索引擎“盗链”那家伙你100M宽带也吃不消，如果你做的不是图片网站，又不想被搜索引擎“盗链”你的网站图片
　　User-agent： *
　　Disallow： .jpg$
　　4，提交网站地图
　　现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的
　　5，禁止某二级域名的抓取
　　一些网站会对VIP会员提供一些特殊服务，却又不想这个服务被搜索引擎检索到
　　User-agent： *
　　Disallow： /
　　以上就是合肥网站优化小编整理的内容，更多相关资讯欢迎访问http://www.zosyo.com/

>> 相关文章：

·了解网络浅析下载类网站的SEO优化技巧
·合肥网站建设设计策划方案
·安徽网站优化建议关键词词库的好处有哪些
·合肥网站制作中如何规划SEO优化
·合肥网站制作公司那么多，怎样才能找到靠谱的公司呢？
·安徽网站优化公司在网站建设需要避免的误区
·合肥seo优化六大的基本方法和技巧
·哪家专业网页设计公司比较好，如何选择？
·安徽网站制作后如何提升网站知名度
·站点建设过程中应防止出现哪些错误？
·合肥网站制作网站的统一性如何实现
·安徽合肥网络公司如何建站吸引更多用户
·合肥网站优化如何提高和提高百度收录
·关于网站建设过程中的一些改进细节问题
·安徽SEO优化如何解决目录页没有排名
·安徽网站优化常识：怎样增加百度收录？
·安徽网站建设公司哪家好?做网站找什么样的公司好
·安徽合肥网络公司做网站的基本要素
·合肥seo优化如何优化关键词排名？要有这些常识！
·安徽网站优化文章一定要放到目录下面吗
·安徽网站优化给网站备案时的注意事项
·怎样避免网站建设图像版权侵权？
·安徽网站优化必看适用SEO技巧
·合肥网站优化未来网站发展方向
·安徽网站优化如何获得更好的推广效果？
·安徽网站建设公司如何制作小程序
·所有行业的网页设计都需要有规律性和整洁性
·合肥seo优化如何选择域名有利于提高
·合肥网站优化公司如何优化网站建设完成后的照片
·网上商城建设找什么样的安徽网站制作公司好
·通过发散思维提高网络推广营销效率
·安徽合肥网络公司网站建设的主要流程是什么
·安徽网站建设公司网站制作的几大要点
·合肥网站优化的几个误区
·网页设计对网站建设有什么作用？
·安徽seo优化的站点服务器维护要做什么工作
·定制网站建设应考虑哪些相关问题
·合肥网站制作如何规划网站内容
·网页设计重要的设计元素是什么？
·合肥seo优化公司如何利用SEO拓展业务
·合肥网站建设公司对教育类的官网应该怎样建设？
·安徽网站建设网站定制优点是什么？
·未来合肥网站建设趋势五大发展方向你不能错过
·合肥网站制作如何设计网站首页更有吸引力？
·安徽合肥网络公司怎样保护你的网站内容不被抄袭
·安徽网站建设公司的关键字优化应该注意哪些方面
·合肥SEO优化如何避免网站优化过度
·安徽网站制作公司在企业如何进行有效的网络推广
·如何在网站优化中合理布局关键词？
·安徽合肥网络公司如何运营App推广
·合肥网站制作为什么在公司营销网站的制作要用自适应网站设计？
·安徽网站优化如何给公司规划网站内容？需要注意哪些事项？
·安徽seo优化能给公司的发展带来什么更好的相处？
·安徽网站制作如何实现网站的全面定制？
·合肥网站优化如何做好内链优化
·如何使合肥seo优化提高长期有效的关键词稳定性排序方法？
·安徽网站优化谈深入解读SEO资源的重要性
·合肥网站优化的主要内容和作用
·安徽网站制作营销网站需要注意哪些因素？
·在做合肥网站优化的过程中，如何解决网站快照回档的难题？
·如何选择网站设计公司？
·安徽seo优化应适当运用SEO思维来协助建站
·合肥网站制作从客户的直观感受考虑手机网站设计