该项目使用了spring boot框架,省去了很多底层代码的编写,比如数据库的连接,数据的插入,直接由spring boot 底层操作,而我们只需配置好就可以使用,只需花更多时间关注表层的逻辑设计,其次使用了selenium框架,简单的爬虫,只能爬取静态html页面,无法获取由js加载的数据,这就限制我们的爬取内容的范围,这里使用该框架,模拟用户点击浏览器的操作,以便获取动态产生的资源,同时更能够模拟用户登陆界面,获取登陆后的内容,这也是使用其的一大原因,同时这里也借助了tess4j工具,解决了登陆遇到的验证码问题,最后直接就用Jsoup解析页面 关于该项目
This repository has been archived by the owner on Dec 3, 2021. It is now read-only.
-
Notifications
You must be signed in to change notification settings - Fork 1
1291945816/HolidayAssessment
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
it is a crawler about edu.
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published