WebHarvy
Integre o web scraper WebHarvy com Proxies da Oxylabs. Guia passo a passo de configuração para proxy e autenticação.
WebHarvy é uma ferramenta de web scraping que extrai texto, HTML e imagens de páginas da web. A ferramenta lida com logins, envios de formulários, navegação, paginação, scraping agendado e oferece suporte a Proxies.
Siga as etapas abaixo para integrar os seguintes Proxies Oxylabs com o WebHarvy:
Etapa 1
Baixe e instale o aplicativo WebHarvy.
Etapa 2
Depois de configurado, navegue até Ajustes.
Etapa 3
Clique em Configurações de Proxy. Selecione para marcar Habilitar conexão de rede via Servidor Proxy e escolha HTTP, HTTPS, ou SOCKS5 como seu protocolo de proxy Tipo.
Etapa 4
Preencha os detalhes de conexão para o tipo de proxy escolhido:
Residential & Mobile Proxies
Tipo: HTTP, HTTPS, ou SOCKS5
Endereço: pr.oxylabs.io
Porta: 7777
Você também pode usar parâmetros adicionais com proxies residenciais e móveis para definir a geolocalização (país, estado, cidade etc.) e controlar sessões. Confira o para saber mais. Dedicated Datacenter Proxies empresariais
Datacenter Proxies
Tipo: HTTP, HTTPS, ou SOCKS5
Endereço: dc.oxylabs.io
Porta: 8001
A porta é o número sequencial atribuído a um endereço IP da lista de proxies adquirida. Assim, a porta 8001 usa o primeiro endereço IP da sua lista. Você também pode ativar de IP do proxy definindo a porta como 8000.
Além disso, você pode especificar o geolocalização, por exemplo, os EUA, definindo o Nome de usuário do proxy para user-USERNAME-country-US.
A porta 8001 escolhe um endereço IP aleatório, mas permanece consistente durante uma sessão. Como alternativa, você pode alternar os IPs do proxy a cada solicitação usando a porta 8000.
Se você quiser usar um geolocalização, por exemplo, os EUA, defina o nome de usuário do proxy como user-USERNAME-country-US.
Dedicated Datacenter Proxies (Empresarial)
Tipo: HTTP ou SOCKS5
Endereço: 1.2.3.4 (endereço IP da sua lista de proxies adquirida)
Porta: 60000 (SOCKS5) 1180 USERNAME
Para Dedicated Datacenter Proxies Enterprise (compradas via vendas), você terá que escolher um endereço IP do conjunto adquirido lista de proxies adquirida.
Dedicated Datacenter Proxies (Autoatendimento)
Tipo de proxy: HTTP, HTTPS, ou SOCKS5
Endereço: ddc.oxylabs.io
Porta: 8001
Para Dedicated Datacenter Proxies Self-Service (compradas pelo painel da Oxylabs), a porta indica o número sequencial de um endereço IP do conjunto adquirido lista de proxies adquirida. Se você quiser obter um IP diferente a cada solicitação, altere o Porta para 8000 para ativar rotação de proxy.
ISP Proxies
Tipo: HTTP, HTTPS, ou SOCKS5
Endereço: isp.oxylabs.io
Porta: 8001
ISP Proxies atribuem cada porta a um endereço IP e local específicos. A porta 8001 sempre usa o primeiro IP da sua lista de proxies adquirida. Use a porta 8000 para ativar rotação de proxy.
Para obter IPs rotativos do pool de proxies de um país específico, defina o nome de usuário usando este formato: user-USERNAME-country-XX, em que XX é o código do país (por exemplo, US para Estados Unidos).
Dedicated ISP Proxies
Tipo: HTTP, HTTPS, ou SOCKS5
Endereço: disp.oxylabs.io
Porta: 8001
Você precisará escolher a porta atribuída a um endereço IP da lista comprada lista de proxies adquirida, que você pode encontrar no painel da Oxylabs. A 8001 porta selecionará o primeiro endereço IP da sua lista para todas as solicitações. Use a porta 8000 para rotação automática de IP do proxy.
Etapa 5
Selecione Requer autenticação para inserir seu proxy Oxylabs Nome de usuário e Senha:
Residential & Mobile Proxies
Nome de usuário: customer-USERNAME
Senha: PASSWORD
Datacenter Proxies
Nome de usuário: user-USERNAME
Senha: PASSWORD
Dedicated Datacenter Proxies (Enterprise)
Nome de usuário: USERNAME
Senha: PASSWORD
Dedicated Datacenter Proxies (Self-service)
Nome de usuário: user-USERNAME
Senha: PASSWORD
ISP Proxies
Nome de usuário: user-USERNAME
Senha: PASSWORD
Dedicated ISP Proxies
Nome de usuário: user-USERNAME
Senha: PASSWORD
Certifique-se de adicionar a customer- ou user- prefixo ao seu nome de usuário se o seu tipo de proxy exigir isso.
Clique no botão + para adicionar seu novo proxy à lista.
Etapa 6
Pressione Aplicar para concluir a integração do proxy do WebHarvy.
Pronto. Agora você pode navegar na internet e marcar as linhas específicas para coletar. Ao clicar em Iniciar, você pode começar a selecionar os dados de destino.
Encontre a publicação original do blog de integração do WebHarvy aqui.
Atualizado
Isto foi útil?