Selenium

Integre o Selenium com Oxylabs Residential Proxies para automação de navegador e muito mais. Guia de configuração em Python com Selenium Wire e exemplos de código.

Selenium é uma ferramenta que ajuda a automatizar interações com navegadores web para testes de sites e muito mais.

Para integrar o Selenium com a Oxylabs Residential Proxies, siga as instruções abaixo ou assista a este tutorial em vídeo:

Etapa 1. Instalar Selenium Wire para estender as bindings Python do Selenium, porque usar o módulo padrão do Selenium para implementar Proxies que exigem autenticação torna todo o processo complicado. Você pode fazer isso usando o pip comando: pip install selenium-wire

Outro pacote recomendado para essa integração é webdriver-manager. É um pacote que simplifica o gerenciamento de drivers binários para diferentes navegadores. Nesse caso, não há necessidade de baixar manualmente uma nova versão de um web driver após cada atualização.

Você pode instalar o webdriver-manager usando o pip comando também: pip install webdriver-manager

Etapa 2. Especifique suas credenciais da conta para que os Proxies funcionem:

USERNAME = "your_username"

PASSWORD = "your_password"

ENDPOINT = "pr.oxylabs.io:7777"

Você precisará ajustaryour_username e your_password campos com o nome de usuário e a senha do seu usuário de proxy.

Você pode criar e gerenciar seus usuários proxy em nosso dashboard.

Etapa 3. Verifique se o proxy está funcionando visitando ip.oxylabs.io. Se tudo estiver funcionando corretamente - ele retornará um endereço IP de um proxy que você está usando.

tente:
    driver.get("https://ip.oxylabs.io/")
    return f'\nSeu IP é: {driver.find_element(By.CSS_SELECTOR, "pre").text}'
finally:
    driver.quit()

Código completo para a integração da Oxylabs com Selenium: Residential Proxies integração com Selenium:

from selenium.webdriver.common.by import By
from seleniumwire import webdriver
# Um pacote para manter um chromedriver sempre atualizado.
from webdriver_manager.chrome import ChromeDriverManager

USERNAME = "your_username"
PASSWORD = "your_password"
ENDPOINT = "pr.oxylabs.io:7777"

def chrome_proxy(user: str, password: str, endpoint: str) -> dict:
    wire_options = {
        "proxy": {
            "http": f"http://{user}:{password}@{endpoint}",
            "https": f"https://{user}:{password}@{endpoint}",
        }
    }

    return wire_options

def execute_driver():
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    proxies = chrome_proxy(USERNAME, PASSWORD, ENDPOINT)
    driver = webdriver.Chrome(
    ChromeDriverManager(driver_version='<VERSION>').install(), options=options, seleniumwire_options=proxies
    )
    tente:
        driver.get("https://ip.oxylabs.io/")
        return f'\nSeu IP é: {driver.find_element(By.CSS_SELECTOR, "pre").text}'
    finally:
        driver.quit()


if __name__ == '__main__':
    print(execute_driver())

Se você quiser saber mais sobre web scraping com Selenium, leia nosso post do blog.

Encontre a postagem original do blog de integração do Selenium aqui.