python-xpath如何获取html文档的部分内容-创新互联

小编给大家分享一下python-xpath如何获取html文档的部分内容，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

创新互联建站服务项目包括两当网站建设、两当网站制作、两当网页制作以及两当网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，两当网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到两当省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！python有哪些常用库

python常用的库：1.requesuts；2.scrapy；3.pillow；4.twisted；5.numpy；6.matplotlib；7.pygama；8.ipyhton等。

有些时候我在们需要的用正则提取出html中某一个部分的文字内容，如图:

获取dd部分的html文档，我们要通过它的一个属性去确定他的位置才可以拿到他这个部分我们可以看到他的这个属性class='row clearfix '，然后用xpath去获取到这部分:

name = tree.xpath("//dd[@class='row clearfix ']")
from lxml import html
import requests
url = 'http://navi.cnki.net/knavi/JournalDetail/GetArticleList?year=2018&issue=04&pykm=DZXU&pageIdx=0&pcode=CJFD'
res = requests.get(url)
tree = html.fromstring(res.text)
name = tree.xpath("//dd[@class='row clearfix ']")
print(name)

如果直接打印他是不能够出来的，

我们需要对Element进行处理，用到name1 = html.tostring(name[0])，代码如下:

from lxml import html
import requests
url = 'http://navi.cnki.net/knavi/JournalDetail/GetArticleList?year=2018&issue=04&pykm=DZXU&pageIdx=0&pcode=CJFD'
res = requests.get(url)
tree = html.fromstring(res.text)
name = tree.xpath("//dd[@class='row clearfix ']")
name1 = html.tostring(name[0])
print(name1)

打印截图:

但是大家可以看到里面的等内容并不是中文，原因是我们使用tostring方法输出的是修正后的HTML代码，但是结果是bytes类型，在python中bytes类型是不可以进行编码的，需要转换成字符串，使用代码name1.decode()，此时我们将bytes类型转换为str（字符串）类型。

那么此时我们关键是如何将$#26080;此类的符号转换成汉字！！！那么首先要搞清楚这是什么编码？这类符号是HTML、XML 等 SGML 类语言的转义序列。它们不是”编码“，也就是说我们不能使用utf-8、gbk等编码进行处理，需要使用HTMLParse进行处理，完整代码如下：

from lxml import html
import requests
from html.parser import HTMLParser #导入html解析库
url = 'http://navi.cnki.net/knavi/JournalDetail/GetArticleList?year=2018&issue=04&pykm=DZXU&pageIdx=0&pcode=CJFD'
res = requests.get(url)
tree = html.fromstring(res.text)
name = tree.xpath("//dd[@class='row clearfix ']")
name1 = html.tostring(name[0])
name2 = HTMLParser().unescape(name1.decode())
print(name2)

此时运行结果如下：

以上是“python-xpath如何获取html文档的部分内容”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

分享标题：python-xpath如何获取html文档的部分内容-创新互联
转载来源：http://wjwzjz.com/article/dcssoc.html