BfsCrawler

a Zhihu BfsCrawler in Java

这是一个实现了宽度优先的知乎网络爬虫。

下载使用的是HttpClient工具，解析页面使用的是HtmlParser，未来还可以考虑使用Jsoup。

通过两个队列，visitedUrl和unVisitedUrl实现了宽度优先爬取。

单线程。

自动爬取知乎推荐的文章存储到本地指定文件中。