Selenium 是一个用于 Web 测试和爬虫的工具。它可以模拟浏览器进行操作,可以让你爬取动态网页。下面是一个使用 Selenium 实现爬取淘宝搜索关键字”手机”的示例代码:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # Initialize the driver driver = webdriver.Chrome() # Open the website driver.get("https://www.taobao.com") # Find the search box element and search for the keyword search_box = driver.find_element_by_id("q") search_box.send_keys("手机") search_box.submit() # Wait for the search results to load wait = WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".m-itemlist .items .item"))) # Extract the search results items = driver.find_elements_by_css_selector(".m-itemlist .items .item") for item in items: title = item.find_element_by_css_selector(".title a").text price = item.find_element_by_css_selector(".price").text print(title, price) # Close the browser driver.quit()
上面的代码中,我们首先导入了 Selenium 的 webdriver 模块,并使用 webdriver.Chrome() 函数初始化了 Chrome 浏览器驱动。然后使用 driver.get() 函数打开了淘宝首页。
接着,我们使用 driver.find_element_by_id() 函数找到了搜索框元素,并使用 send_keys() 函数输入了关键字”手机”,然后提交表单。
等待页面加载后,我们使用 driver.find_elements_by_css_selector() 函数找到了所有商品元素,并遍历每个商品元素,提取出标题和价格并打印出来。
最后,使用 driver.quit() 函数关闭了浏览器。
需要注意的是,这仅是一个简单示例,在实际使用时可能需要考虑更多因素,如爬虫反爬虫机制,网络状况等。

关注公众号『窗外天空』
获取更多建站运营运维新知!互联网创业、前沿技术......
最新评论
arm构架插件有吗
大神你好,可以帮忙编译arm_cortex-a15_neon-vfpv4架构的么,路由器是EA8500
大佬,我得路由是 360 v6全家wifi cpu架构ARMv8 Processor x 4 ShadowsocksR Plus+ 未运行 是不是少依赖包?
主机型号是Xiaomi Mi Router 4C
主机型号 TP-Link TL-WDR6500 v2 劳驾,如果有这个的依赖包不甚感激!!!谢谢 架构 Qualcomm Atheros QCA956X ver 1 rev 0 x 1 固件版本 OpenWrt 19.07-SNAPSHOT / LuCI 17.01 Lienol (git-bd82964) 内核版本 4.9.232