欢迎光临
我们一直在努力

爬虫实战 | Xpath与lxml

文章目录

1. Xpath 基本语法

1.1什么是Xpath

Xpath,全称 XML Path Language,及XML路径语言,是一门在XML文档中查找信息的语言,最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索。

1.2 常用规则

  • 获取文本 表达式 描述 a/text() 获取 a 下的文本 a//text() 获取 a 下所有元素的文本 //a[text()='下一页'] 获取文本为下一页的 a 元素
  • 获取属性 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点 // 从当前节点选取子孙节点 . 选取当前节点 .. 选取当前节点的父节点 @ 选取属性 * 匹配任何元素节点 @* 匹配任何属性节点 node() 匹配任何类型的节点

1.3示例

路径表达式结果
/bookstore/book[1] (注意下标从1开始)选取属于 bookstore 子元素的第一个book元素
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素
/bookstore/book[position()<3]选取属于 bookstore 子元素的 最前面两个 book 元素
//title[@lang]选取所有拥有名为 lang 的属性的title元素
//title[@lang='eng']选取所有 lang 属性为 eng 的 title 元素
/bookstore/book[price>35.00]选取 bookstore 元素下所有 book 元素,它们的 price 元素值大于 35.00
/bookstore/book[price>35.00]/title选取 bookstore 元素中的 book 元素的所有 title 元素,且 price 元素的值大于35.00
/bookstore/*选取 bookstore 的所有子元素
//*选取文档中的所有元素
//node()/meta[]/@*选取 html 下面任意节点的 meta 节点的所有属性
//title[@*]选取所有带有属性的 title 元素
//book/title | // book/price选取 book 元素的所有 title 和 price 元素
//title | //price选取文档中的所有 title 和 price 元素
//bookstore/book/title | //price选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素

2. lxml的使用

2.1 使用注意点

  • lxml 能够修正 HTML 代码,但是可能会改错了,解决方法:
    • 使用etree.tostring观察修改之后的html的样子,根据修改之后的html字符串写xpath
  • 提取页面数据的思路
    • 先分组,取到一个包含分组标签的列表
    • 遍历,取其中每一组进行数据的提取,不会造成数据的对应错乱
  • lxml 能够接受bytes和str的字符串

2.2 简单示例

from lxml import etree

text = ''' <div> <ul> 
            <li class="item-1"><a href="link1.html">first item</a></li> 
            <li class="item-1"><a href="link2.html">second item</a></li> 
            <li class="item-inactive"><a href="link3.html">third item</a></li> 
            <li class="item-1"><a href="link4.html">fourth item</a></li> 
            <li class="item-0"><a href="link5.html">fifth item</a> 
            </ul> </div> '''

html = etree.HTML(text)

print(html) # <Element html at 0x1f1007c9d08>
print(etree.tostring(html).decode())

# 获取 class 为 item-1 li 下的 a 的 href
ret1 = html.xpath('//li[@class="item-1"]/a/@href')
print(ret1)

# 获取 class 为 item-1 li 下的文本
ret2 = html.xpath("//li[@class='item-1']/a/text()")
print(ret2)

# 把 url 和 文本组成字典
# 如果其中一个获取失败或者没有数据,则url 和 title 就不是原来对应的结果
for i in ret1:
    item = {}
    item['url'] = i
    item['title'] = ret2[ret1.index(i)]
    print(item)

# 改进
ret3 = html.xpath('//li[@class="item-1"]')
for i in ret3:
    item = {}
    item['url'] = i.xpath('./a/@href')[0] if len(i.xpath('./a/@href')) else None  # ./a/@href 表示当前节点下的
    item['title'] = i.xpath('./a/text()')[0] if len(i.xpath('./a/text()')) else None
    print(item)

作者:Dictator丶
链接:https://juejin.im/post/5c43d3d6f265da61764b2750
来源:掘金

赞(0) 打赏
未经允许不得转载:散人研 » 爬虫实战 | Xpath与lxml
分享到: 更多 (0)

评论 抢沙发

7 + 6 =
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏