Octoparse
Integre o Octoparse com Proxies da Oxylabs para web scraping sem código. Configure rotação automática de IP e lide com desafios comuns de scraping.
Octoparse é uma ferramenta de extração de dados. Ela permite fazer scraping de dados públicos sem codificação e lidar com a maioria dos desafios de scraping, possibilitando rotação automática de IP e tempo de sessão estendido.
Siga as etapas abaixo para integrar o Octoparse com os seguintes Oxylabs Proxies:
Etapa 1
Baixe, instale e depois abra o Octoparse.
Etapa 2
Crie uma nova tarefa clicando no +Novo botão no canto superior esquerdo e escolhendo Tarefa personalizada.
Etapa 3
Digite a URL da página da web da qual você pretende extrair dados no Campo de entrada de URL e clique no Salvar botão. Usaremos o sandbox de scraping da Oxylabs como exemplo.
Etapa 4
Depois que a URL selecionada carregar, vá para "Configurações da tarefa" e selecione "Anti-blocking".
Etapa 5
Agora, marque Acessar sites via Proxies, ative Usar meus próprios Proxies, e clique em Configurar.
Etapa 6
Quando você clicar no Configurar botão, uma janela pop-up será exibida. Especifique os detalhes do proxy escolhido no IP/host:porta:nome de usuário:senha formato:
Residenciais e Mobile Proxies
IP/host: pr.oxylabs.io
Porta: 7777
Nome de usuário: customer-username
Senha: senha
Não se esqueça de adicionar o customer- parte ao seu nome de usuário.
Datacenter Proxies
IP/host: dc.oxylabs.io
Porta: 8001
Nome de usuário: user-username
Senha: senha
Para a Pay-per-IP assinatura, a porta é o número sequencial atribuído a um endereço IP da lista fornecida. Assim, a porta 8001 usa o primeiro endereço IP da sua lista.
Para a Pay-per-traffic assinatura, a porta 8001 escolhe um endereço IP aleatório, mas permanece consistente durante uma sessão.
Dedicated Datacenter Proxies (Enterprise)
IP/host: um endereço IP específico (por exemplo, 1.2.3.4)
Porta: 60000
Nome de usuário: nome de usuário
Senha: senha
Dedicated Datacenter Proxies (Self-service)
IP/host: ddc.oxylabs.io
Porta: 8001
Nome de usuário: user-username
Senha: senha
Não se esqueça de adicionar o user- parte ao seu nome de usuário.
ISP Proxies
IP/host: isp.oxylabs.io
Porta: 8001
Nome de usuário: user-username
Senha: senha
Não se esqueça de adicionar o user- parte ao seu nome de usuário.
Dedicated ISP Proxies
IP/host: disp.oxylabs.io
Port: 8001
Nome de usuário: user-USERNAME
Senha: PASSWORD
Observação: não se esqueça de adicionar o user- ao seu nome de usuário.
Etapa 7
Configure o Switch intervalo dependendo se você usa um tipo de sessão rotativa ou persistente.
Etapa 8
Salve as alterações clicando no Confirmar botão e, depois disso, clique em Salvar.
Seus Proxies já estão configurados!
Como começar a fazer scraping usando o Octoparse
Etapa 1. Selecione os elementos desejados (títulos de videogames) que você quer extrair. Para extrair todos os elementos da mesma categoria, escolha Selecionar todos os elementos semelhantes e especifique Texto.
Etapa 2. Configure a paginação para extrair várias páginas. Este site específico usa páginas numeradas, levando você a escolher Botão da próxima página.
Etapa 3. Escolha o botão exato no layout da página que abre a página seguinte – Avançar – para automatizar a paginação.
Etapa 4. Conclua a configuração de scraping e pressione ▶Executar.
Etapa 5. Escolha Executar no seu dispositivo com Modo padrão para receber os dados como um arquivo no seu PC.
Etapa 6. Deixe o processo de scraping rodar até concluir. O processo terminará quando a página final do produto for alcançada ou quando você o interromper manualmente.
Etapa 7. Extraia os dados coletados e selecione o formato do arquivo.
Aqui está o resultado final em uma planilha.
É isso – tudo está configurado e você está pronto para focar nas suas tarefas de web scraping com o Octoparse.
Atualizado
Isto foi útil?