Selenium

Aprenda a integrar o Selenium com Mobile Proxies da Oxylabs usando Selenium Wire para testes automatizados de sites e mais.

Selenium é uma ferramenta que ajuda a automatizar interações com navegadores web para testes de sites e mais.

Para integrar o Selenium com a Oxylabs Mobile Proxies, siga as instruções abaixo:

Passo 1. Instale Selenium Wire para estender as bibliotecas Python do Selenium, pois usar o módulo Selenium padrão para implementar proxies que exigem autenticação torna todo o processo complicado. Você pode fazê-lo usando o pip comando: pip install selenium-wire

Outro pacote recomendado para esta integração é webdriver-manager. É um pacote que simplifica o gerenciamento de drivers binários para diferentes navegadores. Neste caso, não há necessidade de baixar manualmente uma nova versão do web driver após cada atualização.

Você pode instalar o webdriver-manager usando o pip comando também: pip install webdriver-manager

Passo 2. Especifique as credenciais da sua conta para os proxies funcionarem:

USERNAME = "your_username"

PASSWORD = "your_password"

ENDPOINT = "pr.oxylabs.io:7777"

Você precisará ajustaryour_username e your_password campos com o nome de usuário e a senha do seu usuário de proxy.

Você pode criar e gerenciar seus usuários de proxy em nosso dashboard.

Passo 3. Verifique se o proxy está funcionando visitando ip.oxylabs.io. Se tudo estiver funcionando corretamente - ele retornará o endereço IP do proxy que você está usando.

tente:
    driver.get("https://ip.oxylabs.io/")
    return f'\nYour IP is: {driver.find_element(By.CSS_SELECTOR, "pre").text}'
finalmente:
    driver.quit()

Código completo para a integração da Oxylabs Mobile Proxies com o Selenium:

from selenium.webdriver.common.by import By
from seleniumwire import webdriver
# A package to have a chromedriver always up-to-date.
from webdriver_manager.chrome import ChromeDriverManager

USERNAME = "your_username"
PASSWORD = "your_password"
ENDPOINT = "pr.oxylabs.io:7777"

def chrome_proxy(user: str, password: str, endpoint: str) -> dict:
    wire_options = {
        "proxy": {
            "http": f"http://{user}:{password}@{endpoint}",
            "https": f"https://{user}:{password}@{endpoint}",
        }
    }

    return wire_options

def execute_driver():
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    proxies = chrome_proxy(USERNAME, PASSWORD, ENDPOINT)
    driver = webdriver.Chrome(
    ChromeDriverManager(driver_version='<VERSION>').install(), options=options, seleniumwire_options=proxies
    )
    tente:
        driver.get("https://ip.oxylabs.io/")
        return f'\nYour IP is: {driver.find_element(By.CSS_SELECTOR, "pre").text}'
    finalmente:
        driver.quit()


if __name__ == '__main__':
    print(execute_driver())

Se você quiser aprender mais sobre web scraping com Selenium, leia nosso post no blog.

Encontre o post original do blog de integração do Selenium aqui.