天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

java weather spider spring springboot restful-api webmagic

• Updated Jun 25, 2018
• Java

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

elasticsearch scraper spider webmagic

• Updated Nov 16, 2022
• Java

基于SpringBoot 2.x整合各种常用开发工具，包括但不限于Redis，MyBatisPlus，RocketMQ，RabbitMQ，Elasticsearch，Quartz，Xxl-Job，Kafka等。

docker redis elasticsearch mail kafka thymeleaf rabbitmq logback websocket sms swagger quartz aop springboot webmagic mybatis-plus rocketmq xxl-job easyexcel knife4j

• Updated Apr 13, 2023
• Java

基于springboot+mybatis+echarts+webmagic 的疫情数据可视化网站

data-visualization java-8 springboot mybatis echarts webmagic novice

• Updated Oct 13, 2020
• Java

基于WebMagic写的一个csdn博客小爬虫

java webmagic

• Updated Jun 7, 2018
• Java

网络数据采集技术—Java网络爬虫 (书稿完整代码，涉及网络爬虫的各种技术和知识点)

mysql java crawler thread jsoup httpclient okhttp thread-pool crawler4j webmagic webcollector urlconnection

• Updated Sep 1, 2022
• Java

solrj示例

solr selenium webmagic solrj

• Updated Feb 3, 2016
• Java

抓取twitter数据，可根据时间、话题、用户名等条件抓取数据，twitter爬虫

java crawler twitter webmagic springboot2

• Updated Oct 13, 2020
• Java

基于webMagic爬取知乎数据，并按天定时归档

java spider zhihu webmagic

• Updated Aug 11, 2026
• Java

SpringBoot+Solr + webmagic JD商品爬取数据，放入solr中做搜索，学习下solr使用

java solr springboot webmagic

• Updated Aug 31, 2017
• Java

spray模块架构分离

java spring-boot quartz webmagic

• Updated Feb 15, 2019
• Java

A dynamic crawler plug-in for the Android platform based on Dex dynamic loading, which can dynamically load and execute the dex plug-in package, and can realize real-time updates of crawler and other functions.

android kotlin plugin java crawler reflection web spider module jvm dynamic class apk jsoup okhttp scrapy execute pak dex webmagic

• Updated Nov 15, 2023
• Kotlin

一个百度搜索结果内容获取爬虫。

crawler httpclient java-8 webmagic baidu-search

• Updated Mar 27, 2018
• Java

Java 电商爬虫，动态代理请自行更换！爬取目标：京东、考拉、丝芙兰；使用工具：HtmlUnit（单线程，大部分网站通过代理可以获取，但是反爬多层JS的无法取到）、ChromeDriver（多进程，需要考虑销毁机制）等（其它的不咋好用）（此项目只为研究各个工具的优劣，并不支持商用）

spider selenium jsoup chromedriver webmagic htmlunit

• Updated Sep 1, 2022
• Java

解析司机网站获取帖子车牌详情的爬虫

spider webmagic adults

• Updated Sep 2, 2018
• HTML

基于 springboot 底座、webmagic 爬虫内核、xxl-job 任务定时调度实现的分布式爬虫平台。

website crawler webmagic xxl-job

• Updated Jul 18, 2023
• Java

基于webmagic实现的网络爬虫。主要抓取各大财经网站数据，生成自定义图表

crawler webmagic

• Updated Jan 3, 2018
• Java

一个爬虫小程序，使用webmagic+springboot抓取代理IP网站的数据，并持久化到本地

springboot webmagic

• Updated Dec 28, 2018
• Java

91 web spider for java.

crawler spring-boot webmagic 91porn

• Updated Dec 22, 2017
• Java

抓取携程航班数据，此数据来源于飞常准，使用webmagic框架

crawler jar webmagic ctrip

• Updated Jul 10, 2019
• Java