搜索引擎的原理及spider程序浅析

摘要：当今世界，互联网在人们的生活中扮演着越来越重要的角色。通过互联网，企业可以随时发布各种信息，使得企业借助互联网，可以取得不断的发展；而普通的互联网的用户，则可以通过互联网方便的查询各种各样的信息。尤其是3G手机的普及及应用，搜索引擎更是受到人们的青睐，该文就搜索引擎的原理及核心程序Spider做下简要分析。
　　关键词：互联网；搜索引擎；Spider
　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2011)25-6118-02
　　搜索引擎是一个为因特网用户提供信息搜索服务的网站，它使用一些些程序和算法把因特网上的所有信息归类，以帮助人们在浩瀚的“网海”中搜查找所需要的信息。
　　随着互联网的不断发展和日益普及，网上的信息量在爆炸性的增长，全球Web页面的数目已经超过40亿以上，中国的网页数目估计也超过了3亿以上。由于信息的飞速增长，用户通过互联网一个一个查找已不可能。新的信息查询技术——搜索引擎技术就应运而生，并得到了飞速发展。搜索引擎以一定的算法在互联网中搜集发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务。
　　另一方面，由于互联网的发展，随着更多的网民迫切需要通过网络了解更多的公司及产品，国内外众多企业也逐渐意识到网络对于自身发展的重要性。企业为了推广自己的产品，就需要让更多的人知道、访问自己公司的网站，尤其是被潜在的客户浏览，就需要借助专业的网站推广手段，而搜索引擎，正是网站推广中最廉价、最高效的方式。搜索引擎是目前最重要、效果最明显的网站推广方式，也是最为成熟的一种网络营销方法。搜索引擎的搜索排名也成了搜索引擎公司的新亮点。
　　目前比较流行的“搜索引擎”主要有百度（baidu）、谷歌（Google）等。下面就其中的几个简要介绍一下：
　　百度（baidu）：百度是全球最大的中文搜索网站，在中文检索方面处于绝对领先地位，百度除提供网页搜索外，还提供MP3、文档、地图、视频、新闻等多样化的搜索服务，率先创造了以百度贴吧、知道为代表的搜索社区，将无数网民头脑中的智慧融入了搜索。另外近几年还推

[1] [2] [3] [4] 下一页