Selenium 是一个用于 Web 测试和爬虫的工具。它可以模拟浏览器进行操作,可以让你爬取动态网页。下面是一个使用 Selenium 实现爬取淘宝搜索关键字”手机”的示例代码:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # Initialize the driver driver = webdriver.Chrome() # Open the website driver.get("https://www.taobao.com") # Find the search box element and search for the keyword search_box = driver.find_element_by_id("q") search_box.send_keys("手机") search_box.submit() # Wait for the search results to load wait = WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".m-itemlist .items .item"))) # Extract the search results items = driver.find_elements_by_css_selector(".m-itemlist .items .item") for item in items: title = item.find_element_by_css_selector(".title a").text price = item.find_element_by_css_selector(".price").text print(title, price) # Close the browser driver.quit()
上面的代码中,我们首先导入了 Selenium 的 webdriver 模块,并使用 webdriver.Chrome() 函数初始化了 Chrome 浏览器驱动。然后使用 driver.get() 函数打开了淘宝首页。
接着,我们使用 driver.find_element_by_id() 函数找到了搜索框元素,并使用 send_keys() 函数输入了关键字”手机”,然后提交表单。
等待页面加载后,我们使用 driver.find_elements_by_css_selector() 函数找到了所有商品元素,并遍历每个商品元素,提取出标题和价格并打印出来。
最后,使用 driver.quit() 函数关闭了浏览器。
需要注意的是,这仅是一个简单示例,在实际使用时可能需要考虑更多因素,如爬虫反爬虫机制,网络状况等。

关注公众号『窗外天空』
获取更多建站运营运维新知!互联网创业、前沿技术......
最新评论
水淀粉vdfv
有其他下载方式么,网站上的点击下载后没有任何反应,或者直接发给我一下?83835079@qq.com
你好,我的型号ELECOM WRC-X3200GST3,ARMv8 Processor rev 4构架,CPU mediatek/mt7622,找了很久没有找到
我的也是这样。一直无法确认ARCH架构,或是不支持。一直没办法用。不知道怎么办了
您好,现在安装上了,可是ssr plus+配置好节点也没用,一直都是未运行,节点是有效的; 另外那个passwall2一找开就提示"无法确认ARCH架构,或是不支持", 麻烦大佬帮忙看下是什么问题,谢谢!