Selenium

Integre o Selenium com Residential Proxies da Oxylabs para automação de navegador e mais. Guia de configuração em Python com Selenium Wire e exemplos de código.

Selenium é uma ferramenta que ajuda a automatizar interações em navegadores web para testes de sites e mais.

Para integrar o Selenium com a Oxylabs Residential Proxies, siga as instruções abaixo ou assista a este tutorial em vídeo:

Passo 1. Instalar Selenium Wire para estender as bindings Python do Selenium, pois usar o módulo Selenium padrão para implementar proxies que exigem autenticação torna todo o processo complicado. Você pode fazer isso usando o pip comando: pip install selenium-wire

Outro pacote recomendado para essa integração é o webdriver-manager. É um pacote que simplifica o gerenciamento dos drivers binários para diferentes navegadores. Neste caso, não há necessidade de baixar manualmente uma nova versão de um web driver após cada atualização.

Você pode instalar o webdriver-manager usando o pip comando também: pip install webdriver-manager

Passo 2. Especifique suas credenciais de conta para os proxies funcionarem:

USERNAME = "your_username"

PASSWORD = "your_password"

ENDPOINT = "pr.oxylabs.io:7777"

Você precisará ajustaryour_username e your_password campos com o nome de usuário e a senha do seu usuário de proxy.

Você pode criar e gerenciar seus usuários de proxy em nosso painel.

Passo 3. Verifique se o proxy está funcionando visitando ip.oxylabs.io. Se tudo estiver funcionando corretamente - ele retornará o endereço IP do proxy que você está usando.

tente:
    driver.get("https://ip.oxylabs.io/")
    return f'\nYour IP is: {driver.find_element(By.CSS_SELECTOR, "pre").text}'
finalmente:
    driver.quit()

Código completo para a integração da Oxylabs Residential Proxies com o Selenium:

from selenium.webdriver.common.by import By
from seleniumwire import webdriver
# Um pacote para manter o chromedriver sempre atualizado.
from webdriver_manager.chrome import ChromeDriverManager

USERNAME = "your_username"
PASSWORD = "your_password"
ENDPOINT = "pr.oxylabs.io:7777"

def chrome_proxy(user: str, password: str, endpoint: str) -> dict:
    wire_options = {
        "proxy": {
            "http": f"http://{user}:{password}@{endpoint}",
            "https": f"https://{user}:{password}@{endpoint}",
        }
    }

    return wire_options

def execute_driver():
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    proxies = chrome_proxy(USERNAME, PASSWORD, ENDPOINT)
    driver = webdriver.Chrome(
    ChromeDriverManager(driver_version='<VERSION>').install(), options=options, seleniumwire_options=proxies
    )
    tente:
        driver.get("https://ip.oxylabs.io/")
        return f'\nYour IP is: {driver.find_element(By.CSS_SELECTOR, "pre").text}'
    finalmente:
        driver.quit()


if __name__ == '__main__':
    print(execute_driver())

Se você quiser aprender mais sobre web scraping com Selenium, leia nosso post do blog.

Encontre o post original do blog sobre integração do Selenium aqui.