典型文献
基于Scrapy框架的网络爬虫抓取实现
文献摘要：
随着互联网的发展,网络数据覆盖了各个领域,但随着网络数据量的增加和数据格式的多样化,用户从海量数据中获取有价值的数据变得越来越困难.目前国内外对数据采集技术进行了研究,发现通过网络爬虫技术可以自动获取网络资源.本文以南京市二手房信息为例,设计了一个基于Scrapy框架的爬虫程序,对中西部部分地区的二手房信息进行抓取和存储,最后运用Excel数据分析,对南京市二手房资源按区域、住房类型进行分析.结果表明,该程序能够自动采集安居客户的住房信息,提高了用户获取信息的速度和质量,为用户数据分析提供了数据源.
文献关键词：
Scrapy;Python;网络爬虫;大数据
中图分类号：
作者姓名：
聂莉娟;方志伟;李瑞霞
作者机构：
金肯职业技术学院,江苏南京 210000
文献出处：
引用格式：
[1]聂莉娟;方志伟;李瑞霞-.基于Scrapy框架的网络爬虫抓取实现)[J].软件,2022(11):18-20
A类：
B类：
Scrapy,抓取实现,网络数据,数据量,数据格式,海量数据,数据采集技术,网络爬虫技术,网络资源,二手房,爬虫程序,Excel,住房类型,自动采集,集安,安居,获取信息,速度和质量,用户数据,数据源,Python
AB值：
0.377173
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
