Métodos de integração

Explore os três métodos de integração para a Oxylabs Web Scraper API (Realtime, Push-Pull, Proxy Endpoint) e aprenda como eles diferem na submissão de jobs, formato e fluxo de trabalho.

Web Scraper API oferece três métodos de integração, cada um com seus benefícios únicos:

• Realtime. Este método é síncrono. Isso significa que ao enviar sua solicitação de envio de trabalho, você terá que manter a conexão aberta até que terminemos com sucesso seu trabalho ou retornemos um erro. Este método de integração é ótimo se você quiser enviar cargas JSON com descrições de trabalhos de scraping e parsing, incluindo alguns parâmetros avançados de scraping, para nossa API.

• Push-Pull (suporta consultas em lote). Este método de integração é assíncrono. Isso significa que ao enviar seu trabalho, retornaremos rapidamente um JSON com as informações do seu trabalho, incluindo as URLs para baixar o resultado/verificar o status do trabalho. Assim que terminarmos de processar seu trabalho, nós POST uma notificação sobre a conclusão do trabalho para seu servidor, momento em que você pode prosseguir e baixar os resultados. Este método de integração também permite enviar os resultados diretamente para seu (AWS S3 ou Google Cloud Storage).

Push-Pull é nosso método de integração recomendado para lidar de forma confiável com grandes volumes de dados.

• Proxy Endpoint. Este método também é síncrono (como Realtime), mas em vez de usar nosso serviço via uma interface RESTful, você pode usar nosso endpoint como um proxy. Use Proxy Endpoint se você já usou proxies antes e só quer receber conteúdo desbloqueado de nós.

O Time-To-Live (TTL) para todas as conexões da API está definido para 150 segundos. É importante notar que, em casos raros, as conexões podem expirar por timeout antes de receber uma resposta. Fatores como carga do sistema ou envios de trabalho extremamente complexos podem contribuir para timeouts.