头条搜索 —— 自己没有爬虫

问的人句尾带着「吧」，自己也没拿准：「多吉，头条那种搜索引擎应该是没有自己的爬虫吧？直接整合的别人的数据」。猜有猜的来路：自建搜索要常年养爬虫，带宽、存储、去重、回访节奏都是按年付的开销；整合现成的站源数据，结果页很快能填起来。

两种来路的覆盖面不一样。爬虫顺着链接走，被链到的页面就有机会进索引；整合来的数据只盖得住愿意给的站点。这种事其实可以不靠猜：服务器日志记着每一个来访爬虫的 UA，索引的边界，拿几个外站的收录量一比就能画出来。