Métodos de integração

Explore os três métodos de integração da Web Scraper API da Oxylabs (Realtime, Push-Pull, Proxy Endpoint) e aprenda como eles diferem em envio de jobs, formato e fluxo de trabalho.

Web Scraper API oferece suporte a três métodos de integração, cada um com seus benefícios exclusivos:

• Realtime. Este método é síncrono. Isso significa que, ao enviar sua solicitação de envio da tarefa, você precisará manter a conexão aberta até concluirmos com sucesso sua tarefa ou retornarmos um erro. Este método de integração é ideal para extração de dados em Realtime quando você precisa de uma resposta imediata. Você pode enviar payloads JSON com parâmetros de scraping e parsing, enquanto a API lida automaticamente com o gerenciamento de proxies, retentativas e gerenciamento de tráfego de bots.
• Push-Pull (suporta consultas em lote). Este método de integração é assíncrono. Isso significa que, ao enviar sua tarefa, retornaremos rapidamente um JSON com as informações da sua tarefa, incluindo as URLs para baixar o resultado/verificar o status da tarefa. Assim que terminarmos de processar sua tarefa, enviaremos POST uma notificação de conclusão da tarefa para o seu servidor, momento em que você pode prosseguir e baixar os resultados. Este método de integração também permite enviar os resultados diretamente para seu AWS S3, Google Cloud ou qualquer armazenamento compatível com S3.

Push-Pull é nosso método de integração recomendado para lidar de forma confiável com grandes volumes de dados.

• Proxy Endpoint. Este método também é síncrono (como Realtime), mas, em vez de usar nosso serviço por meio de uma interface RESTful, você pode usar nosso endpoint como um proxy. Use Proxy Endpoint se você já usou proxies antes e só quer obter o conteúdo web disponível conosco.

O tempo de vida (TTL) para todas as conexões da API é definido como 150 segundos. É importante observar que, em casos raros, as conexões podem expirar antes de receber uma resposta. Fatores como carga do sistema ou envios de tarefas extremamente complexos podem contribuir para timeouts.