L

LagouClawer

Project ID: 693441

LagouClawer是一个针对拉勾网(IT招聘网),基于Jsoup的网络爬虫,根据输入的城市参数和关键字参数,通过多线程将所有的招聘信息爬取下来,先持久化保存在本地的output目录下的文件中,文件名的命名规范为lagou_city_keyword_yyyy-MM-dd.txt,保存的格式为JSON,然后用alibaba的fastJson进行解析,持久化存入mysql的表中,用户可以用sql进行筛选自己感兴趣的职位,本工程基于Maven,需要用maven来build