使用 XPath 检索 XML、HTML 文档内容

小渣渣

XPath 是一种能够准确高效地从树状结构数据（例如 HTML 和 XML）中指定和提取所需信息的技术。

XPath 概述

XPath 是一种用于指定和提取 XML 或 HTML 文档树状结构中特定元素和属性的语言。由于网页通常由 HTML 构成，因此 XPath 被广泛应用于各种场景，例如网页抓取、数据检索和 XML 数据搜索。

典型用法如下：

• 网络爬虫中的数据提取：XPath 用于自动获取特定数据，例如电子商务网站上的产品信息或新闻网站上的文章标题。
• XML 数据搜索与处理：在业务系统和数据链接处理中，数据通常以 XML 格式交换。通过使用 XPath，您可以高效地从大量 XML 数据中提取必要的信息。
• 解析 API 响应（XML 格式）：当使用基于 XML 的 API（例如 SOAP）时，XPath 用于解析响应数据。这使您能够快速获取特定的状态代码和结果数据，从而提高系统集成和自动化处理的准确性。
  

工具推荐

在学习和使用 XPath 的过程中，常用工具 ：

Chrome 开发者工具：作为 Chrome 浏览器自带的强大工具，按下 F12 键即可呼出。在 “Elements” 面板中，通过鼠标悬停和点击，可以快速定位到网页的 HTML 元素，右键点击元素还能直接复制 XPath 表达式，方便验证和测试。比如在分析一个电商产品页面时，利用 Chrome 开发者工具能迅速获取商品名称、价格等元素的 XPath。
Firefox 开发者工具：同样是浏览器自带工具，功能与 Chrome 开发者工具类似。它也能让你在页面中轻松定位元素，并查看和测试 XPath 表达式。对于习惯使用 Firefox 浏览器的开发者来说，这是一个不错的选择。
在线 XPath 测试工具：如 “XPath Tester” 等在线工具，无需安装，打开网页即可使用。你只需将 XML 或 HTML 文档内容粘贴进去，输入 XPath 表达式，就能实时查看匹配结果。这种工具特别适合初学者快速上手，进行简单的 XPath 练习。
XPath Helper 插件：以 Chrome 浏览器为例，安装 XPath Helper 插件后，在浏览网页时，它会在浏览器界面中添加一个浮动窗口，显示当前鼠标悬停元素的 XPath 路径，并且可以直接在窗口中编辑和测试 XPath 表达式，大大提高了开发效率。

XPath 抽象语法

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取（取子节点）。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

路径表达式	结果
bookstore	选取所有名为 bookstore 的节点。
/bookstore	选取根元素 bookstore。 注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。
谓语被嵌在方括号中。
在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用"|"运算符，您可以选取若干个路径。

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
//book/title | //book/price	选取 book 元素的所有 title 和 price 元素。
//title | //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

XPath 函数

以下是核心 XPath 函数和 XSLT 对 XPath 的特定添加的带注释列表，包括描述、语法、参数列表、结果类型、在相应的 W3C 建议中的来源。

• boolean()
• ceiling()
• choose()
• concat()
• contains()
• count()
• current() XSLT 特定
• document() XSLT 特定
• element-available()
• false()
• floor()
• format-number() XSLT 特定
• function-available()
• generate-id() XSLT 特定
• id()
• key() XSLT 特定
• lang()
• last()
• local-name()
• name()
• namespace-uri()
• normalize-space()
• not()
• number()
• position()
• round()
• starts-with()
• string()
• string-length()
• substring()
• substring-after()
• substring-before()
• sum()
• system-property() XSLT 特定
• translate()
• true()
• unparsed-entity-url() XSLT 特定
  

实战测试

打开 chrome 浏览器，获取所有 a 标签链接的文本内容，命令如下：

登录可见。

如下图：



参考：超链接登录可见。