头条搜索 —— 爬虫还是聚合

头条搜索 2019 年上线，结果页把站内内容和外部网页排在一起。「头条那种搜索引擎应该是没有自己的爬虫吧？直接整合的别人的数据」。

自建和整合的分界写在时效里。自己抓取的索引，回访节奏自己定，页面改了、删了，下一轮爬完就更新；整合来的数据跟着对方的接口走，对方不吐新内容，结果页就停在旧版本。2019 年上线到 2020 年，头条搜索能搜到的外部网页范围一直没公开过口径，站内内容倒是越排越靠前，这也是聚合搜索常见的生长方向：先接别人的，再喂自己的。