Selenium

将 Selenium 与 Oxylabs 住宅代理集成，用于浏览器自动化及更多用途。包含 Selenium Wire 和代码示例的 Python 设置指南。

Selenium 是一个帮助自动化网页浏览器交互的工具，适用于网站测试等场景。

要将 Selenium 与 Oxylabs 集成 住宅代理，请按照以下说明操作，或观看此视频教程：

步骤 1。 安装 Selenium Wire 来扩展 Selenium 的 Python 绑定，因为使用默认的 Selenium 模块来实现需要身份验证的代理会让整个过程变得复杂。你可以使用 pip 命令： pip install selenium-wire

另一个推荐用于此集成的包是 webdriver-manager。它是一个包，可简化不同浏览器二进制驱动的管理。在这种情况下， 每次更新后都无需手动下载新的 web driver 版本.

你可以安装 webdriver-manager 使用 pip 命令： pip install webdriver-manager

步骤 2。 请指定你的账户凭据，以使代理正常工作：

USERNAME = "your_username"

PASSWORD = "your_password"

ENDPOINT = "pr.oxylabs.io:7777"

您需要调整your_username 并 your_password 包含您的代理用户的用户名和密码的字段。

您可以在我们的 仪表板.

步骤 3。通过访问以下地址检查代理是否正常工作 ip.oxylabs.io。如果一切正常 - 它将返回您正在使用的代理的 IP 地址。

尝试：
    driver.get("https://ip.oxylabs.io/")
    return f'\n你的 IP 是：{driver.find_element(By.CSS_SELECTOR, "pre").text}'
finally:
    driver.quit()

Oxylabs 的完整代码 住宅代理 与 Selenium 的集成：

from selenium.webdriver.common.by import By
from seleniumwire import webdriver
# 一个始终保持 chromedriver 为最新版本的软件包。
from webdriver_manager.chrome import ChromeDriverManager

USERNAME = "your_username"
PASSWORD = "your_password"
ENDPOINT = "pr.oxylabs.io:7777"

def chrome_proxy(user: str, password: str, endpoint: str) -> dict:
    wire_options = {
        "proxy": {
            "http": f"http://{user}:{password}@{endpoint}",
            "https": f"https://{user}:{password}@{endpoint}",
        }
    }

    return wire_options

def execute_driver():
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    代理 = chrome_proxy(USERNAME, PASSWORD, ENDPOINT)
    driver = webdriver.Chrome(
    ChromeDriverManager(driver_version='<VERSION>').install(), options=options, seleniumwire_options=代理
    )
    尝试：
        driver.get("https://ip.oxylabs.io/")
        return f'\n你的 IP 是：{driver.find_element(By.CSS_SELECTOR, "pre").text}'
    finally:
        driver.quit()


if __name__ == '__main__':
    print(execute_driver())

如果你想了解更多关于使用 Selenium 进行网页抓取的信息，请阅读我们的 博客文章.

查找原始的 Selenium 集成博客文章 这里.