XPath 爬蟲語法大全：完整對照表與實戰技巧
XPath 爬蟲實戰語法對照表
基本選擇器
| 用途 |
XPath 語法 |
說明 |
範例 |
| 選擇所有元素 |
//tag |
選擇頁面上所有指定標籤的元素 |
//div 選擇所有 div 元素 |
| 根據 ID 選擇 |
//*[@id='ID值'] |
選擇具有特定 ID 的元素 |
//*[@id='header'] 選擇 ID 為 header 的元素 |
| 根據 Class 選擇 |
//*[contains(@class, 'CLASS值')] |
選擇具有特定 Class 的元素 |
//*[contains(@class, 'btn')] 選擇 class 包含 btn 的元素 |
| 選擇精確 Class |
//*[@class='CLASS值'] |
選擇 class 屬性完全匹配的元素 |
//*[@class='btn-primary'] 選擇 class 等於 btn-primary 的元素 |
| 選擇屬性 |
//*[@屬性='值'] |
選擇具有特定屬性值的元素 |
//*[@href='https://example.com'] 選擇連結到 example.com 的元素 |
層級關係選擇器
| 用途 |
XPath 語法 |
說明 |
範例 |
| 子元素 |
//父元素/子元素 |
選擇直接子元素 |
//div/p 選擇所有 div 的直接子 p 元素 |
| 所有後代 |
//父元素//後代元素 |
選擇所有後代元素，不限層級 |
//div//span 選擇所有 div 內的 span 元素，不論層級 |
| 父元素 |
//元素/.. |
選擇元素的父元素 |
//h1/.. 選擇所有 h1 元素的父元素 |
| 祖先元素 |
//元素/ancestor::標籤 |
選擇元素的祖先元素 |
//li/ancestor::div 選擇 li 元素的 div 祖先 |
| 上一個兄弟元素 |
//元素/preceding-sibling::標籤[1] |
選擇緊鄰的前一個兄弟元素 |
//li[3]/preceding-sibling::li[1] 選擇第三個 li 前的一個 li |
| 下一個兄弟元素 |
//元素/following-sibling::標籤[1] |
選擇緊鄰的後一個兄弟元素 |
//div/following-sibling::p[1] 選擇 div 後的第一個 p 元素 |
| 所有兄弟元素 |
//元素/following-sibling::標籤 |
選擇所有後續兄弟元素 |
//h2/following-sibling::p 選擇 h2 後的所有 p 元素 |
文本與內容篩選
| 用途 |
XPath 語法 |
說明 |
範例 |
| 包含特定文本 |
//*[contains(text(), '文本')] |
選擇包含指定文本的元素 |
//*[contains(text(), '登入')] 選擇包含「登入」文本的元素 |
| 精確文本匹配 |
//*[text()='文本'] |
選擇文本完全匹配的元素 |
//*[text()='確認'] 選擇文本為「確認」的元素 |
| 屬性包含文本 |
//*[contains(@屬性, '文本')] |
選擇屬性值包含特定文本的元素 |
//*[contains(@href, 'product')] 選擇 href 包含 product 的元素 |
| 元素內容為空 |
//*[not(node())] |
選擇沒有子節點的空元素 |
//div[not(node())] 選擇所有空的 div 元素 |
位置與索引篩選
| 用途 |
XPath 語法 |
說明 |
範例 |
| 第一個元素 |
(//元素)[1] |
選擇符合條件的第一個元素 |
(//tr)[1] 選擇頁面上第一個 tr 元素 |
| 最後一個元素 |
(//元素)[last()] |
選擇符合條件的最後一個元素 |
(//li)[last()] 選擇最後一個 li 元素 |
| 指定位置 |
(//元素)[位置] |
選擇特定位置的元素 |
(//td)[5] 選擇第五個 td 元素 |
| 位置範圍 |
(//元素)[position() > N and position() < M] |
選擇位置在指定範圍內的元素 |
(//tr)[position() > 1 and position() < 5] 選擇第 2 到第 4 個 tr |
| 奇數位置元素 |
//元素[position() mod 2 = 1] |
選擇位置為奇數的元素 |
//tr[position() mod 2 = 1] 選擇奇數行 |
| 偶數位置元素 |
//元素[position() mod 2 = 0] |
選擇位置為偶數的元素 |
//tr[position() mod 2 = 0] 選擇偶數行 |
複合條件選擇
| 用途 |
XPath 語法 |
說明 |
範例 |
| AND 條件 |
//元素[@屬性1='值1' and @屬性2='值2'] |
同時符合多個條件 |
//input[@type='text' and @required] 選擇必填的文本輸入框 |
| OR 條件 |
//元素[@屬性1='值1' or @屬性2='值2'] |
符合任一條件 |
//button[contains(@class, 'submit') or contains(@class, 'save')] 選擇提交或保存按鈕 |
| NOT 條件 |
//元素[not(@屬性='值')] |
不符合特定條件 |
//div[not(contains(@class, 'hidden'))] 選擇不包含 hidden 類的 div |
| 多重條件 |
//元素[條件1][條件2] |
依序篩選多個條件 |
//div[contains(@class, 'product')][.//span[contains(@class, 'price')]] 選擇包含價格的產品 div |
常用爬蟲實例
| 用途 |
XPath 語法 |
說明 |
| 爬取表格數據 |
//table[@id='data']//tr |
選擇特定表格的所有行 |
| 爬取產品列表 |
//div[contains(@class, 'product-item')] |
選擇所有產品項目 |
| 爬取分頁連結 |
//div[contains(@class, 'pagination')]//a |
選擇分頁區域的所有連結 |
| 爬取導航菜單 |
//nav//li/a |
選擇導航菜單中的所有連結 |
| 爬取特定區塊 |
//div[@id='content']//p |
選擇內容區域中的所有段落 |
| 爬取圖片連結 |
//div[contains(@class, 'gallery')]//img/@src |
選擇圖庫中所有圖片的 src 屬性 |
| 爬取下拉選單選項 |
//select[@id='options']/option |
選擇特定下拉選單的所有選項 |
特殊功能選擇器
| 用途 |
XPath 語法 |
說明 |
範例 |
| 獲取屬性值 |
//元素/@屬性 |
直接獲取元素的特定屬性值 |
//img/@src 獲取所有圖片的 src 屬性值 |
| 元素計數 |
count(//元素) |
計算符合條件的元素數量 |
count(//a[contains(@href, 'product')]) 計算產品連結數量 |
| 連接多個結果 |
//元素1 | //元素2 |
合併多個 XPath 查詢結果 |
//h1 | //h2 選擇所有 h1 和 h2 元素 |
| 選擇可見元素 |
//*[not(contains(@style, 'display:none'))] |
選擇頁面上可見的元素 |
//div[not(contains(@style, 'display:none'))] 選擇可見的 div |
| 獲取節點文本 |
normalize-space(//元素) |
獲取元素的文本並去除多餘空白 |
normalize-space(//h1) 獲取 h1 標題的文本 |
動態頁面爬取技巧
| 用途 |
技巧 |
說明 |
| 等待元素加載 |
使用 WebDriverWait |
設置顯式等待，直到特定 XPath 選擇器能夠找到元素 |
| 處理 iframe |
先切換到 iframe 再定位 |
driver.switch_to.frame(driver.find_element_by_xpath("//iframe[@id='content']")) |
| 處理 AJAX 加載 |
使用顯式等待 |
等待特定元素可見或可點擊，再進行後續操作 |
| 處理動態 ID |
使用 contains 或 starts-with |
對於動態生成的 ID，使用部分匹配而非精確匹配 |
| 處理浮動元素 |
使用相對位置定位 |
透過周圍的穩定元素來定位浮動元素 |