批量采集

在前面的章节中, 介绍的规则采集的目标一开始就确定。如固定的某个开始网页, 固定的搜索词,固定的采集页数等等。

这章节我们将展示如何接受动态的输入,使得规则可以更加灵活便捷。

我们将解决:

  • 如何批量采集URL
  • 如何批量查询,采集
  • 如何批量查询, 每个关键词结果采集不同的页码数
  • 在一个网站中采集列表, 而后就每一项去另外网站采集更多信息