[toc]最近在爬取WOS上的参考文献,html中只加载了部分,其余是js加载的。由于赶时间交作业,就直接试了下利用selenium爬取,顺便记录下来。 Maven配置 除了webmagic,还需要引如下包 安装驱动&配置文件 配置文件如下,chrome_exec_path根据实际路径填写 使用方法 首先设置配置文件路径 System.setProperty("selenuim_config", "/home/likole/tmp/selenuim/config.ini"); 在Spider.create(…

2019年06月01日 0条评论 478点热度 0人点赞 阅读全文

maven中添加依赖 样例

2019年05月31日 0条评论 585点热度 0人点赞 阅读全文