Selenium 实现爬取淘宝搜索关键字"手机"的示例代码

Selenium 是一个用于 Web 测试和爬虫的工具。它可以模拟浏览器进行操作，可以让你爬取动态网页。下面是一个使用 Selenium 实现爬取淘宝搜索关键字”手机”的示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# Initialize the driver
driver = webdriver.Chrome()

# Open the website
driver.get("https://www.taobao.com")

# Find the search box element and search for the keyword
search_box = driver.find_element_by_id("q")
search_box.send_keys("手机")
search_box.submit()

# Wait for the search results to load
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".m-itemlist .items .item")))

# Extract the search results
items = driver.find_elements_by_css_selector(".m-itemlist .items .item")
for item in items:
    title = item.find_element_by_css_selector(".title a").text
    price = item.find_element_by_css_selector(".price").text
    print(title, price)

# Close the browser
driver.quit()

上面的代码中，我们首先导入了 Selenium 的 webdriver 模块，并使用 webdriver.Chrome() 函数初始化了 Chrome 浏览器驱动。然后使用 driver.get() 函数打开了淘宝首页。

接着，我们使用 driver.find_element_by_id() 函数找到了搜索框元素，并使用 send_keys() 函数输入了关键字”手机”，然后提交表单。

等待页面加载后，我们使用 driver.find_elements_by_css_selector() 函数找到了所有商品元素，并遍历每个商品元素，提取出标题和价格并打印出来。

最后，使用 driver.quit() 函数关闭了浏览器。

需要注意的是，这仅是一个简单示例，在实际使用时可能需要考虑更多因素，如爬虫反爬虫机制，网络状况等。

关注公众号『窗外天空』

获取更多建站运营运维新知！
互联网创业、前沿技术......