典型文献
基于Java多线程的智能图片爬虫系统的研究与实现
文献摘要:
针对在传统的爬虫系统中,按照一定规则自动抓取相关信息时,通常包含大量的无效信息这一问题,提出了一种基于Java多线程的智能图片爬虫系统.该系统以爬取图片为例,利用HttpClient、JSoup、WebMagic框架以及线程池技术,实现了在传统爬虫系统基础上增加图片筛选模块,可以智能爬取有效图片,并且自动过滤重复图片,进一步优化了基于Java多线程的传统爬虫系统.
文献关键词:
网络爬虫;多线程;HttpClient;JSoup;WebMagic
中图分类号:
作者姓名:
黄子纯;蔡敏
作者机构:
广州工商学院,广东广州510800
文献出处:
引用格式:
[1]黄子纯;蔡敏-.基于Java多线程的智能图片爬虫系统的研究与实现)[J].电脑知识与技术,2022(22):55-57
A类:
HttpClient,JSoup,WebMagic
B类:
Java,多线程,研究与实现,自动抓取,爬取,线程池,加图,自动过滤,网络爬虫
AB值:
0.216421
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。