由于Archie深受欢迎，因此受其启发Nevada SystemComputing Services大学于1993年开发7一个Gophe(GopherFAQ)搜索工具Veronica(Veronica FAQ L Iughead M后来另一个Gopher搜索工具。Robot(机器人)一词对编程者有特殊的惫义,Co二puter Robot是摺某个能以人类无法达到的速度不断.姐执行某项任务的自动捏序。由于专门用于检索信息的Robot程序如同蜘蛛〔spider)一样在网络间爬来爬去，因此搜索引单的Robot程序被称为"Spider(Spider FAQ)程序，。世界上第1个Spider程序是MITMatthewGray的Wor一d Wide Web Wande二;，用于追踪万维网的发展规模.刚开始它只用来统计万维网上的服务器数口，后来则发展为也能够捕获网址(URL).与Wanderer相对应，1993年to月，Martijn Kos叱er创建7ALIWES(MartijnKoster Annouces the Availability of At iweb J,它相当于A二hie的HTTP版本，井且不使用网络搜导Robot。如果网站主管们希望自己的网灭被ALTWE13收录器要自己提交每一个网页的简介索引信息.类似于后来大家所热知的Yahoo随着万维网的迅速发展使得检素所有新出现的网页变得越来越困难，因此在Wanderer基础上，一些编程者对传统的Spider程序工作原理做了些改进。其设想是既然所有网页都可能有连向其他网站的链接那么从一个网站开始限踪所有网页上的所有链接，就有可能检索班个万维网.到1993年年底，一些基于此原理的搜囊引吸开始纷纷涌现.其中吸负盛名的是Scotland的Iumpstation, Co一orado大学Oliver McBryau的The Wor一d WideWeb Worm(FirstMen叱ion of McBryan"s World Wide Web Worm)和NASA的Repository一BasedSOftWare Engineering(RBSE)spider,IurgPStation和W W W Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜公结果，因此班无他息关联度可言。而RBSE是第1个索引H吐1文件正文的搜索引攀，也是第1个在搜索结果排列中引入关艘字申匹配程应概念的引整。
