Web Scraper API

Aprenda a usar a Web Scraper API e raspar qualquer site público de que você precise. Encontre exemplos de código, uso de parâmetros, localização, destinos e muito mais.

Web Scraper API é uma solução completa de coleta de dados da web projetada para extrair dados em tempo real em grande escala de qualquer site público. Ela cobre todas as etapas do web scraping, desde o rastreamento de URLs e a contornação de bloqueios de IP até o parsing de dados e a entrega para o seu armazenamento preferido, para que você não precise gerenciar proxies, desbloqueio ou infraestrutura.

A ferramenta foi criada para atender aos padrões de segurança corporativa, incluindo conformidade SOC 2 Type II, e oferece uma infraestrutura de rápida adaptação que se ajusta dinamicamente aos sites de destino para garantir altas taxas de sucesso e extração de dados confiável em mecanismos de busca, sites de e-commerce, plataformas de viagem e muito mais.

Começando

Crie suas credenciais de usuário da API: Cadastre-se para um teste grátis ou compre o produto no painel da Oxylabs para criar suas credenciais de usuário da API (USERNAME e PASSWORD).

Se você precisar de mais de um usuário de API para sua conta, entre em contato com nosso suporte ao cliente ou envie uma mensagem para nosso suporte por chat ao vivo 24/7.

Solicitar exemplos

A API lida automaticamente com rotação de proxy, repetição de requisições e contorno de anti-bot como parte de sua infraestrutura integrada, então uma única requisição é suficiente para recuperar todos os dados estruturados.

Abaixo, você encontrará exemplos de requisições cURL. Para exemplos em outras linguagens de programação, consulte as seções relevantes: Amazon, Google, Outros sites.

Amazon

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

Google

Outro

Usamos o método de integração síncrona Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou integração assíncrona Push-Pull , consulte a seção métodos de integração .

17KB

amazon_product output example.json

Abrir

23KB

Generic URL output example.json

Abrir

Valores dos parâmetros da requisição

1. source - Este parâmetro define o scraper que será usado para processar sua requisição.

2. URL ou query - Forneça o URL ou query para o tipo de página que você deseja extrair. Consulte a tabela abaixo e as subpáginas de destino correspondentes para orientações detalhadas sobre quando usar cada parâmetro.

3. Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse (encontre a lista dos nossos parsers aqui), render e mais para personalizar sua requisição de scraping. Leia mais: Recursos.

- parâmetro obrigatório

Extração com URLs ou entradas parametrizadas

A Oxylabs suporta dois grupos gerais de entradas - URLs e entradas parametrizadas, como consultas, IDs de produto ou vídeo. Destinos genéricos que não têm uma source dedicada podem ser extraídos com universal .

Destino	Source (URL de scraping)	Source (Usando Query, ID de Produto ou Vídeo)
Amazon	amazon	amazon_product, amazon_search, amazon_pricing, amazon_sellers, amazon_bestsellers
Google	google	google_search, google_ads, google_ai_mode, google_lens, google_maps, google_travel_hotels, google_trends_explore, google_shopping_product, google_shopping_search
Bing	bing	bing_search
YouTube	universal	youtube_search, youtube_search_max, youtube_video_trainability, youtube_download, youtube_transcript, youtube_subtitles, youtube_metadata, youtube_channel, youtube_autocomplete
ChatGPT	universal	chatgpt
Perplexity	universal	perplexity
Walmart	walmart	walmart_search, walmart_product
TikTok	universal	tiktok_shop_search, tiktok_shop_product
eBay	ebay	ebay_search, ebay_product
Etsy	etsy	etsy_search, etsy_product
Best Buy	universal	bestbuy_search, bestbuy_product
Bed Bath & Beyond	bedbathandbeyond	bedbathandbeyond_search, bedbathandbeyond_product
Bodega Aurrerá	bodegaaurrera	bodegaaurrera_search, bodegaaurrera_product
Instacart	instacart	instacart_search, instacart_product
Kroger	kroger	kroger_search, kroger_product
Lowe's	lowes	lowes_search, lowes_product
Publix	publix	publix_search, publix_product
Destino	target	target_search, target_product, target_category
Grainger	grainger	grainger_search, grainger_product
Costco	costco	costco_search, costco_product
Menards	menards	menards_search, menards_product
Petco	universal	petco_search
Staples	universal	staples_search
Allegro	universal	allegro_search, allegro_product
Idealo	universal	idealo_search
MediaMarkt	mediamarkt	mediamarkt_search, mediamarkt_product
Cdiscount	cdiscount	cdiscount_search, cdiscount_product
Alibaba	alibaba	alibaba_search, alibaba_product
AliExpress	aliexpress	aliexpress_search, aliexpress_product
IndiaMART	indiamart	indiamart_search, indiamart_product
Avnet	universal	avnet_search
Lazada	lazada	lazada_search, lazada_product
Rakuten	universal	rakuten_search
Tokopedia	universal	tokopedia_search
Flipkart	flipkart	flipkart_search, flipkart_product
MercadoLibre	universal	mercadolibre_search
Mercado Livre	universal	mercadolivre_search
Magazine Luiza	magazineluiza	magazineluiza_search, magazineluiza_product
Falabella	falabella	falabella_search, falabella_product
Dcard	universal	dcard_search
Airbnb	airbnb	airbnb_product
Zillow	zillow	Usando query o parâmetro não é suportado
Outros sites	universal	Usando query o parâmetro não é suportado

Se você precisar de ajuda para fazer sua primeira requisição ou otimizar sua configuração, nossa equipe de suporte especializado 24/7 está disponível via chat ao vivo.

Teste via Scraper APIs Playground

Experimente Web Scraper API e OxyCopilot no Scraper APIs Playground.

Teste via Postman

Comece a usar nossa API com o Postman, uma ferramenta útil para fazer requisições HTTP. Baixe nossa coleção do Postman do Web Scraper API e importe-a. Esta coleção inclui exemplos que demonstram a funcionalidade do scraper. Personalize os exemplos conforme suas necessidades ou comece a extrair agora mesmo.

Para instruções passo a passo, assista ao nosso tutorial em vídeo abaixo. Se você é novo no Postman, confira este breve guia.

Todas as informações aqui contidas são fornecidas "no estado em que se encontram" e apenas para fins informativos. Não oferecemos nenhuma declaração e isentamo-nos de toda responsabilidade em relação ao seu uso de qualquer informação contida nesta página. Antes de realizar atividades de scraping de qualquer tipo, você deve consultar seus assessores jurídicos e ler atentamente os termos de serviço do site específico ou obter uma licença de scraping.