Web Scraper API (Classic)

Aprenda a usar o Web Scraper API e raspar qualquer site público de que você precise. Encontre exemplos de código, uso de parâmetros, localização, alvos e muito mais.

Web Scraper API é uma solução completa para coleta de dados da web projetada para extrair dados em tempo real em escala de qualquer site público. Ela abrange todas as etapas da coleta de dados da web, desde o rastreamento de URLs e a melhoria das taxas de sucesso de acesso até o parsing de dados e a entrega ao seu armazenamento preferido, para que você não precise gerenciar proxies, o gerenciamento de requisições ou a infraestrutura.

A ferramenta foi desenvolvida para atender aos padrões de segurança corporativos, incluindo conformidade com SOC 2 Type II, e oferece uma infraestrutura de rápida adaptação que se ajusta dinamicamente aos sites-alvo para garantir altas taxas de sucesso e extração de dados confiável em mecanismos de busca, sites de e-commerce, plataformas de viagens e muito mais.

Primeiros passos

Crie suas credenciais de usuário da API: Entre em contato com nossa equipe para solicitar suas credenciais de usuário da API (USERNAME e PASSWORD).

Exemplos de requisição

A API gerencia a rotação de proxies, as tentativas de repetição de requisições e lida automaticamente com sistemas de monitoramento de bots como parte de sua infraestrutura integrada, então uma única requisição é suficiente para recuperar todos os dados estruturados.

Abaixo, você encontrará exemplos de requisições cURL. Para exemplos em outras linguagens de programação, consulte as seções relevantes: Amazon, Google, Outros sites.

Amazon

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user "USERNAME:PASSWORD" \\
-H "Content-Type: application/json" \\
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

Google

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "adidas",
        "geo_location": "California,United States",
        "parse": true
    }'

Outros

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

Usamos o método de integração síncrona Realtime em nossos exemplos. Se você gostaria de usar Proxy Endpoint ou a integração assíncrona Push-Pull de integração, consulte a seção de métodos de integração .

amazon_product output example.json

17KB

Abrir

Generic URL output example.json

23KB

Abrir

Valores dos parâmetros da requisição

1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL ou query - Forneça o URL ou query para o tipo de página que você quer coletar. Consulte a tabela abaixo e as subpáginas correspondentes para orientações detalhadas sobre quando usar cada parâmetro.
3. Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse (encontre a lista dos nossos parsers aqui), render e mais para personalizar sua requisição de scraping. Leia mais: Recursos.

- parâmetro obrigatório

Coleta com URLs ou entradas parametrizadas

Oxylabs oferece suporte a dois grupos gerais de entradas - URLs e entradas parametrizadas como queries, IDs de produto ou vídeo. Alvos genéricos que não têm uma fonte dedicada podem ser coletados com universal .

Todos os alvos disponíveis com fontes dedicadas podem ser encontrados aqui.

Se você precisar de ajuda para fazer sua primeira requisição ou otimizar sua configuração, nossa equipe de suporte especializada 24/7 está disponível via chat ao vivo.

Teste via Scraper APIs Playground

Experimente Web Scraper API e OxyCopilot no Scraper APIs Playground.

Teste via Postman

Comece a usar nossa API com o Postman, uma ferramenta prática para fazer requisições HTTP. Baixe nossa coleção do Postman para Web Scraper API e importe-a. Esta coleção inclui exemplos que demonstram a funcionalidade do scraper. Personalize os exemplos conforme suas necessidades ou comece a coletar imediatamente.

Para instruções passo a passo, assista ao nosso tutorial em vídeo abaixo. Se você é novo no Postman, confira este breve guia.

Todas as informações aqui contidas são fornecidas "no estado em que se encontram" e apenas para fins informativos. Não fazemos nenhuma declaração e nos isentamos de toda responsabilidade com relação ao seu uso de qualquer informação contida nesta página. Antes de realizar atividades de scraping de qualquer tipo, você deve consultar seus assessores jurídicos e ler atentamente os termos de serviço do site específico ou obter uma licença de scraping.