Início rápido: Web Scraper API

Comece a usar o Web Scraper API da Oxylabs em apenas alguns minutos com um guia simples, passo a passo.

Já está familiarizado com o básico? Confira documentação do Web Scraper API ou nosso prático hub de integração.

Oxylabs Web Scraper API é uma solução completa que lida automaticamente com rotação de proxy, renderização de JavaScript e sistemas anti-bot. Este guia vai levar você de um terminal vazio até dados web em tempo real em apenas alguns minutos.

Siga os passos detalhados abaixo ou assista a um rápido vídeo de demonstração:

1

Configuração e credenciais

Antes de enviar sua primeira solicitação, você precisa autorizar seu acesso:

1. Crie uma conta: Cadastre-se no Painel da Oxylabs.
2. Escolha um plano: Escolha um teste grátis para testar ou uma assinatura imediatamente.
3. Crie um usuário de API: Vá para a seção "Web Scraper API" à esquerda e selecione a aba "Users".
4. Armazene suas credenciais: Essas credenciais específicas da API (não seu login do painel) são necessárias para todas as solicitações.

2

Sua primeira solicitação

O universal source funciona para qualquer site público. Abra seu terminal e execute este comando para raspar nosso site sandbox:

curl --user 'USERNAME:PASSWORD' \\
'https://realtime.oxylabs.io/v1/queries' \\
-H 'Content-Type: application/json' \\
-d '{
    "source": "universal",
    "url": "https://sandbox.oxylabs.io/products"
}'

3

Obtendo dados estruturados

Se você estiver raspando um domínio compatível (como Amazon ou Google), a API pode retornar JSON estruturado em vez de HTML bruto. Basta definir o source para um alvo dedicado e usar "parse": true. Por exemplo, vamos raspar um produto da Amazon:

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user "USERNAME:PASSWORD" \\
-H "Content-Type: application/json" \\
-d '{
    "source": "amazon_product", 
    "query": "B07FZ8S74R", 
    "parse": true
}'

Parâmetros essenciais

Estes são os parâmetros mais comuns usados para personalizar sua solicitação:

Parâmetro	Tipo	Descrição
source	cadeia de caracteres	Obrigatório. O mecanismo de raspagem (por exemplo, universal, amazon, google, etc.).
url / query	cadeia de caracteres	O link de destino ou a palavra-chave/ID para destinos dedicados.
parse	booleano	Defina como true para resultados JSON estruturados em domínios compatíveis.
render	cadeia de caracteres	Defina como html para ativar um Headless Browser para sites com muito JavaScript.
geo_location	cadeia de caracteres	Localize seus resultados (por exemplo, Estados Unidos ou 90210).

Você pode encontrar mais parâmetros personalizáveis na Web Scraper API documentação ou alvos da API seção.

Códigos de resposta comuns

Código	Status	Descrição
200	OK	Sucesso. Seus dados estão no results objeto.
401	Não autorizado	Verifique suas credenciais de usuário da API no painel.
429	Muitas solicitações	Você excedeu seu limite de concorrência.

Você pode encontrar a lista completa de códigos de resposta na seção do produto Web Scraper API.

Próximos passos

Agora que você enviou sua primeira consulta, explore o restante da nossa documentação de acordo com suas necessidades:

• Procurando domínios específicos? Acesse a alvos da API seção para guias dedicados sobre Amazon, Google, eBay e muitos outros sites populares.
• Precisa de recursos avançados? Visite o Produtos espaço para saber mais sobre Análise personalizada, Scheduler, entrega no Cloud Storage e muito mais.
• Escalar com IA? Confira soluções para fluxos de trabalho de IA ou veja como OxyCopilot pode automatizar sua lógica de análise usando inglês simples.
• Integrações diferentes? Usamos integração Realtime síncrona em nossos exemplos. Você pode encontrar Proxy Endpoint ou integração Push-Pull assíncrona na página de métodos de integração página.