待下载网页集合就是（）URL 列队中的网页，这些网页即将被爬虫下载。

来源：考试资料网2024-03-16

网站通过robots.txt 文件可以限定网络爬虫的访问范围。

来源：考试资料网2024-03-16

什么是代理IP ？

来源：考试资料网2024-03-16

如果某个URL 还未抓取过，则这个URL 会放入到待抓取URL 队列中。

来源：考试资料网2024-03-16

什么是通用爬虫？

来源：考试资料网2024-03-16