小说网站爬虫

小说网站爬虫第一天

成都创新互联是一家专业提供兴安企业网站建设,专注与网站设计制作、成都网站设计、H5开发、小程序制作等业务。10年已为兴安众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

从今天开始，学习一下爬虫的知识，爬取小说网站。

第一天：

网站：http://www.bxwx9.org

小说：大主宰

语言：IDEA+java

jar包：maven工程，所以放上dependencies，每一个jar包的作用大家去研究一下

项目结构：

需求：获取小说的章节列表中的标题和URL

原理：

• 用谷歌浏览器F12查看网页的内容，找到章节列表所在的元素

  

• 使用标签选择器来选择需要的内容

  

  代码如下操作：

  

  中文乱码的解决：

  

运行的效果图：

明天继续！！！！