BUFFSpider (前言)

Scrapy+Redis爬取buff数据

• 研究爬虫技术 ，遵循robots.txt协议的前提下，使用Scrapy框架和redis实现高效爬虫

• 对爬取的数据进行数据分析和可视化展示

• 研究反爬虫技术 通过研究网站使用的反爬虫技术，采取措施绕过

• 数据安全技术方面

• 数据挖掘和决策方面

原理分析

Scrapy爬虫框架

Redis爬虫框架

结果预览

xlsx数据

pandas+seaborn数据统计

pandas+seaborn数据统计

价格变动数据展示

商品展示

商品数据展示