# Web Scraper API

[**Web Scraper API**](https://oxylabs.io/products/scraper-api/web) é uma **solução completa de coleta de dados da web** projetada para extrair dados em tempo real em escala de qualquer site público. Ela cobre todas as etapas do web scraping, desde rastrear URLs e contornar bloqueios de IP até o parsing dos dados e a entrega para o armazenamento de sua preferência, para que você não precise gerenciar proxies, desbloqueio ou infraestrutura.

A ferramenta foi criada para atender aos padrões de segurança corporativos, incluindo conformidade com SOC 2 Type II, e oferece uma infraestrutura de rápida adaptação que se ajusta dinamicamente aos sites-alvo para garantir altas taxas de sucesso e extração confiável de dados em mecanismos de busca, sites de e-commerce, plataformas de viagem e mais.

## Primeiros passos

**Crie suas credenciais de usuário da API**: Cadastre-se para um teste gratuito ou compre o produto no [**painel da Oxylabs**](https://dashboard.oxylabs.io/en/registration) para criar suas credenciais de usuário da API (`USERNAME` e `PASSWORD`).

{% hint style="warning" %}
Se você precisar de mais de um usuário da API para sua conta, entre em contato com nosso [**suporte ao cliente**](mailto:support@oxylabs.io) ou envie uma mensagem para nosso suporte por chat ao vivo 24/7.
{% endhint %}

### Solicitar exemplos

A API lida automaticamente com rotação de proxy, novas tentativas de requisição e contorno de anti-bot como parte de sua infraestrutura integrada, então uma única requisição é suficiente para recuperar todos os dados estruturados.

Abaixo, você encontrará exemplos de requisições cURL. Para exemplos em outras linguagens de programação, consulte as seções relevantes: [**Amazon**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/targets/amazon), [**Google**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/targets/google), [**Outros Sites**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/targets/generic-target).

{% tabs %}
{% tab title="Amazon" %}

```bash
curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'
```

{% endtab %}

{% tab title="Google" %}

```bash
curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "geo_location": "California,United States",
        "parse": true
    }'
```

{% endtab %}

{% tab title="Outro" %}

```bash
curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'
```

{% endtab %}
{% endtabs %}

Usamos o método de integração síncrona [**Realtime**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/integration-methods/realtime) em nossos exemplos. Se você quiser usar [**Proxy Endpoint**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/integration-methods/proxy-endpoint) ou a integração assíncrona [**Push-Pull**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/integration-methods/push-pull) consulte a seção de [**métodos de integração**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/integration-methods) .

{% file src="<https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2F27TnfuHtFbnGzuppRbXk%2Famazon_product%20output%20example.json?alt=media&token=eafce580-c356-41d7-89b0-37159f0842ed>" %}

{% file src="<https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FpkEoNmfcQTO8G6qT8ihd%2FGeneric%20URL%20output%20example.json?alt=media&token=10267f8e-64e3-4477-84ab-6136389a6c61>" %}

### Valores dos parâmetros da requisição

1. <mark style="background-color:green;">**`source`**</mark> - Este parâmetro define o scraper que será usado para processar sua requisição.
2. <mark style="background-color:green;">**`URL`**</mark> ou <mark style="background-color:green;">**`query`**</mark> - Informe o `URL` ou `query` para o tipo de página que você deseja extrair. Consulte a tabela abaixo e as subpáginas de destino correspondentes para orientações detalhadas sobre quando usar cada parâmetro.
3. Opcionalmente, você pode incluir parâmetros adicionais como `geo_location`, `user_agent_type`, `parse` (encontre a lista dos nossos parsers [**aqui**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/features/result-processing-and-storage/dedicated-parsers)), `render` e mais para personalizar sua requisição de scraping. Leia mais: [**Recursos**](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/features).

\- parâmetro obrigatório

### Extração com URLs ou entradas parametrizadas

A Oxylabs suporta dois grupos gerais de entradas - URLs e entradas parametrizadas como queries, IDs de produto ou vídeo. [Alvos genéricos](https://developers.oxylabs.io/documentation/pt-br/solucoes-de-scraping/web-scraper-api/targets/generic-target) que não têm uma source dedicada podem ser extraídos com a source `universal` .

<table><thead><tr><th width="217">Alvo</th><th width="246">Source (Extraindo URL)</th><th>Source (Usando Query, ID de Produto ou de Vídeo)</th></tr></thead><tbody><tr><td><a href="web-scraper-api/targets/amazon"><strong>Amazon</strong></a></td><td><code>amazon</code></td><td><p><code>amazon_product</code>,</p><p><code>amazon_search</code>,</p><p><code>amazon_pricing</code>,</p><p><code>amazon_sellers</code>,</p><p><code>amazon_bestsellers</code></p></td></tr><tr><td><a href="web-scraper-api/targets/google"><strong>Google</strong></a></td><td><code>google</code></td><td><p><code>google_search</code>,</p><p><code>google_ads</code>,</p><p><code>google_ai_mode</code>,</p><p><code>google_lens</code>,</p><p><code>google_maps</code>,</p><p><code>google_travel_hotels</code>,</p><p><code>google_trends_explore</code>,</p><p><code>google_shopping_product</code>,</p><p><code>google_shopping_search</code></p></td></tr><tr><td><a href="web-scraper-api/targets/bing"><strong>Bing</strong></a></td><td><code>bing</code></td><td><code>bing_search</code></td></tr><tr><td><a href="web-scraper-api/targets/youtube"><strong>YouTube</strong></a></td><td><code>universal</code></td><td><p><code>youtube_search</code>,</p><p><code>youtube_search_max</code>,</p><p><code>youtube_video_trainability</code>,</p><p><code>youtube_download</code>,</p><p><code>youtube_transcript</code>,</p><p><code>youtube_subtitles</code>,</p><p><code>youtube_metadata</code>,</p><p><code>youtube_channel</code>,</p><p><code>youtube_autocomplete</code></p></td></tr><tr><td><a href="web-scraper-api/targets/chatgpt"><strong>ChatGPT</strong></a></td><td><code>universal</code></td><td><code>chatgpt</code></td></tr><tr><td><a href="web-scraper-api/targets/perplexity"><strong>Perplexity</strong></a></td><td><code>universal</code></td><td><code>perplexity</code></td></tr><tr><td><a href="web-scraper-api/targets/walmart"><strong>Walmart</strong></a></td><td><code>walmart</code></td><td><p><code>walmart_search</code>,</p><p><code>walmart_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/tiktok"><strong>TikTok</strong></a></td><td><code>universal</code></td><td><p><code>tiktok_shop_search</code>,</p><p><code>tiktok_shop_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/ebay"><strong>eBay</strong></a></td><td><code>ebay</code></td><td><p><code>ebay_search</code>,</p><p><code>ebay_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/etsy"><strong>Etsy</strong></a></td><td><code>etsy</code></td><td><p><code>etsy_search</code>,</p><p><code>etsy_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/bestbuy"><strong>Best Buy</strong></a></td><td><code>universal</code></td><td><p><code>bestbuy_search</code>,</p><p><code>bestbuy_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/bedbathandbeyond"><strong>Bed Bath &#x26; Beyond</strong></a></td><td><code>bedbathandbeyond</code></td><td><code>bedbathandbeyond_search</code>,<br><code>bedbathandbeyond_product</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/bodega-aurrera"><strong>Bodega Aurrerá</strong></a></td><td><code>bodegaaurrera</code></td><td><code>bodegaaurrera_search</code>,<br><code>bodegaaurrera_product</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/instacart"><strong>Instacart</strong></a></td><td><code>instacart</code></td><td><code>instacart_search</code>,<br><code>instacart_product</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/kroger"><strong>Kroger</strong></a></td><td><code>kroger</code></td><td><p><code>kroger_search</code>,</p><p><code>kroger_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/lowes"><strong>Lowe's</strong></a></td><td><code>lowes</code></td><td><p><code>lowes_search</code>,</p><p><code>lowes_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/publix"><strong>Publix</strong></a></td><td><code>publix</code></td><td><code>publix_search</code>,<br><code>publix_product</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/target"><strong>Alvo</strong></a></td><td><code>target</code></td><td><p><code>target_search</code>,</p><p><code>target_product</code>,</p><p><code>target_category</code></p></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/grainger"><strong>Grainger</strong></a></td><td><code>grainger</code></td><td><code>grainger_search</code>,<br><code>grainger_product</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/costco"><strong>Costco</strong></a></td><td><code>costco</code></td><td><p><code>costco_search</code>,</p><p><code>costco_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/menards"><strong>Menards</strong></a></td><td><code>menards</code></td><td><code>menards_search</code>,<br><code>menards_product</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/petco/search"><strong>Petco</strong></a></td><td><code>universal</code></td><td><code>petco_search</code></td></tr><tr><td><a href="web-scraper-api/targets/north-american-e-commerce/staples"><strong>Staples</strong></a></td><td><code>universal</code></td><td><code>staples_search</code></td></tr><tr><td><a href="web-scraper-api/targets/european-e-commerce/allegro"><strong>Allegro</strong></a></td><td><code>universal</code></td><td><p><code>allegro_search</code>,</p><p><code>allegro_product</code></p></td></tr><tr><td><a href="web-scraper-api/targets/european-e-commerce/idealo"><strong>Idealo</strong></a></td><td><code>universal</code></td><td><code>idealo_search</code></td></tr><tr><td><a href="web-scraper-api/targets/european-e-commerce/mediamarkt"><strong>MediaMarkt</strong></a></td><td><code>mediamarkt</code></td><td><code>mediamarkt_search</code>,<br><code>mediamarkt_product</code></td></tr><tr><td><a href="web-scraper-api/targets/european-e-commerce/cdiscount"><strong>Cdiscount</strong></a></td><td><code>cdiscount</code></td><td><code>cdiscount_search</code>,<br><code>cdiscount_product</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/alibaba"><strong>Alibaba</strong></a></td><td><code>alibaba</code></td><td><code>alibaba_search</code>,<br><code>alibaba_product</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/aliexpress"><strong>AliExpress</strong></a></td><td><code>aliexpress</code></td><td><code>aliexpress_search</code>,<br><code>aliexpress_product</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/indiamart"><strong>IndiaMART</strong></a></td><td><code>indiamart</code></td><td><code>indiamart_search</code>,<br><code>indiamart_product</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/avnet"><strong>Avnet</strong></a></td><td><code>universal</code></td><td><code>avnet_search</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/lazada"><strong>Lazada</strong></a></td><td><code>lazada</code></td><td><code>lazada_search</code>,<br><code>lazada_product</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/rakuten/search"><strong>Rakuten</strong></a></td><td><code>universal</code></td><td><code>rakuten_search</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/tokopedia/search"><strong>Tokopedia</strong></a></td><td><code>universal</code></td><td><code>tokopedia_search</code></td></tr><tr><td><a href="web-scraper-api/targets/asian-e-commerce/flipkart"><strong>Flipkart</strong></a></td><td><code>flipkart</code></td><td><code>flipkart_search</code>,<br><code>flipkart_product</code></td></tr><tr><td><a href="web-scraper-api/targets/latin-american-e-commerce/mercado-libre/search"><strong>MercadoLibre</strong></a></td><td><code>universal</code></td><td><code>mercadolibre_search</code></td></tr><tr><td><a href="web-scraper-api/targets/latin-american-e-commerce/mercado-livre/search"><strong>Mercado Livre</strong></a></td><td><code>universal</code></td><td><code>mercadolivre_search</code></td></tr><tr><td><a href="web-scraper-api/targets/latin-american-e-commerce/magazineluiza"><strong>Magazine Luiza</strong></a></td><td><code>magazineluiza</code></td><td><code>magazineluiza_search</code>,<br><code>magazineluiza_product</code></td></tr><tr><td><a href="web-scraper-api/targets/latin-american-e-commerce/falabella"><strong>Falabella</strong></a></td><td><code>falabella</code></td><td><code>falabella_search</code>,<br><code>falabella_product</code></td></tr><tr><td><a href="web-scraper-api/targets/latin-american-e-commerce/dcard"><strong>Dcard</strong></a></td><td><code>universal</code></td><td><code>dcard_search</code></td></tr><tr><td><a href="web-scraper-api/targets/real-estate/airbnb"><strong>Airbnb</strong></a></td><td><code>airbnb</code></td><td><code>airbnb_product</code></td></tr><tr><td><a href="web-scraper-api/targets/real-estate/zillow"><strong>Zillow</strong></a></td><td><code>zillow</code></td><td>Usar <code>query</code> parâmetro não é suportado</td></tr><tr><td><a href="web-scraper-api/targets/generic-target"><strong>Outros Sites</strong></a></td><td><code>universal</code></td><td>Usar <code>query</code> parâmetro não é suportado</td></tr></tbody></table>

{% hint style="info" %}
Se você precisar de ajuda para fazer sua primeira requisição ou otimizar sua configuração, nossa equipe de suporte especializada 24/7 está disponível via chat ao vivo.
{% endhint %}

## Testando via Scraper APIs Playground

Experimente [**Web Scraper API**](https://oxylabs.io/products/scraper-api/web) e [**OxyCopilot**](https://oxylabs.io/products/scraper-api/ai-web-scraper-copilot) no [**Scraper APIs Playground**](https://dashboard.oxylabs.io/?route=/api-playground).

{% embed url="<https://www.youtube.com/watch?v=kDhknxrod6U>" %}

{% embed url="<https://youtu.be/9JoF8_5r5HY?si=61c3Zkx6FrH06PVa>" %}

## Testando via Postman

Comece a usar nossa API com o Postman, uma ferramenta prática para fazer requisições HTTP. Baixe nossa [**coleção Web Scraper API do Postman**](https://files.gitbook.com/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FMeGA0TZQMcAFHoVhRSQi%2FWeb%20Scraper%20API.new_postman_collection.json?alt=media\&token=9f51d41b-6604-4eef-b6c1-5024cf52c5bf) e importe-a. Esta coleção inclui exemplos que demonstram a funcionalidade do scraper. Personalize os exemplos conforme suas necessidades ou comece a fazer scraping imediatamente.

Para instruções passo a passo, assista ao nosso tutorial em vídeo abaixo. Se você é novo no Postman, confira este breve [**guia**](https://developers.oxylabs.io/documentation/pt-br/guias-para-scraper-apis/using-postman).

{% embed url="<https://www.youtube.com/watch?v=WOD0mZnu-j0>" %}

{% hint style="info" %}
*Todas as informações aqui são fornecidas no estado em que se encontram e apenas para fins informativos. Não fazemos nenhuma representação e nos isentamos de toda responsabilidade em relação ao uso de qualquer informação contida nesta página. Antes de realizar qualquer atividade de scraping, você deve consultar seus assessores jurídicos e ler atentamente os termos de serviço do site específico ou obter uma licença de scraping.*
{% endhint %}
