AI-Scraper

Aprenda a obter dados da web de uma única URL para seus fluxos de trabalho de IA usando o AI Studio.

Visão geral

AI-Scraper é uma ferramenta de scraping que extrai dados de uma única página da web. Ela identifica e analisa informações relevantes com base em um prompt em linguagem natural e então entrega resultados em JSON (para automação e APIs) ou Markdown formato (melhor para saídas legíveis e fluxos de trabalho de IA).

Este AI scraper elimina a necessidade de seletores CSS/XPath ou parsers personalizados, então ele se integra perfeitamente a vários pipelines de automação. Geração automática de esquema e formatos de saída flexíveis oferecem aos usuários uma maneira fácil de extrair dados limpos e estruturados sem nunca precisar manter a lógica de parsing.

Você pode visualizar a ferramenta aqui e integrá-la aos seus fluxos de trabalho por meio dos nossos SDKs Python/JavaScript, servidor MCP ou uma de nossas integrações de terceiros.

Principais recursos

• Extração baseada em prompt de linguagem natural – Defina suas necessidades em inglês simples, e o agente de scraping recuperará as informações relevantes.
• Vários formatos de saída – Escolha JSON para fluxos de trabalho estruturados ou Markdown para resultados legíveis por humanos e fluxos de trabalho de IA.
• Geração automática de esquema – Gere um esquema automaticamente a partir de um prompt ou defina-o manualmente para um parsing preciso de JSON.
• Funciona em qualquer página pública – Extraia de e-commerce, notícias, blogs ou qualquer outra fonte acessível.

Como funciona

Para fazer scraping de uma página da web com AI-Scraper, siga estas etapas:

1. Forneça a URL da página da web que você quer fazer scraping.
2. Descreva os dados a extrair em linguagem natural (ex.: “Obtenha todos os nomes e preços dos produtos”).
3. Selecione o formato de saída – JSON estruturado ou Markdown.
4. (Opcional) Defina um esquema – Deixe o AI-Scraper gerar um automaticamente ou forneça seu próprio esquema OpenAPI para a estrutura exata que você deseja.

Instalação

Para começar, certifique-se de que você tem acesso a uma chave de API do AI Studio (ou obtenha uma avaliação gratuita com 1000 créditos) e Python v3.10 ou superior instalado. Você pode instalar o oxylabs-ai-studio pacote usando pip:

pip install oxylabs-ai-studio

Exemplos de código (Python)

Os exemplos a seguir mostram como usar AiScraper para extrair dados de uma página de exemplo.

from oxylabs_ai_studio.apps.ai_scraper import AiScraper
import json

# Inicialize o AI Scraper com sua chave de API
scraper = AiScraper(api_key="YOUR_API_KEY")

# Gere um esquema automaticamente a partir de linguagem natural
schema = scraper.generate_schema(prompt="want to parse developer, platform, type, price game title, and genre (array)")
print(f"Generated schema: {schema}")

# Raspe uma página da web e extraia dados estruturados
url = "https://sandbox.oxylabs.io/products/3"
result = scraper.scrape(
    url=url,
    output_format="json",
    schema=schema,
    render_javascript=False,
    geo_location="US",
)
# Imprima a saída do scraping em JSON
print("Results:")
print(json.dumps(result.data, indent=2))

Saiba mais sobre AI-Scraper e o SDK Python do Oxylabs AI Studio em nossa repositório PyPI. Você também pode conferir nosso SDK JavaScript da AI Studio guia para usuários de JS.

Parâmetros da requisição

Parâmetro	Descrição	Valor padrão
url	URL de destino para fazer scraping	–
output_format	Formato de saída (JSON, markdown)	markdown
schema	Esquema OpenAPI para extração estruturada (obrigatório para JSON)	–
render_javascript	Ativar renderização de JavaScript	False
geo_location	Localização do proxy no formato ISO2	–

– parâmetros obrigatórios

Exemplos de saída

AI-Scraper pode retornar uma saída analisada, pronta para uso e fácil de integrar em seus aplicativos.

Veja como é a saída em JSON:

{
  "games": [
    {
      "developer": "Nintendo EAD Tokyo",
      "platform": "wii",
      "type": "singleplayer",
      "price": 91.99,
      "title": "Super Mario Galaxy 2",
      "genre": [
        "Action",
        "Platformer"
      ]
    },
    {
      "developer": "Eidos Interactive",
      "platform": "wii",
      "type": null,
      "price": 80.99,
      "title": "Death Jr.: Root of Evil",
      "genre": [
        "Action",
        "Platformer",
        "3D"
      ]
    }
}

Alternativamente, você pode definir output_format a markdown para receber resultados formatados em Markdown em vez de JSON.

Casos de uso práticos

AI-Scraper pode ser aplicado a uma ampla variedade de tarefas de coleta de dados:

1. Extrair detalhes de produtos – Reúna nomes, descrições e preços de produtos de sites de e-commerce.
2. Analisar artigos de notícias – Recupere títulos de artigos, datas, autores e o texto do corpo.
3. Fazer scraping de páginas de preços – Colete informações estruturadas de preços para análise de concorrentes ou de mercado.
4. Extrair vagas de emprego – Capture títulos de vagas, locais, salários e datas de publicação de portais de recrutamento.