AI-Scraper

Aprenda como obter dados web a partir de uma única URL para seus fluxos de trabalho de IA usando o AI Studio.

Visão geral

AI-Scraper é uma ferramenta de scraping que extrai dados de uma única página web. Ela identifica e analisa informações relevantes com base em um prompt em linguagem natural e então fornece os resultados em JSON (para automação e APIs) ou Markdown (formato (melhor para saídas legíveis e fluxos de trabalho de IA).)

Este scraper com IA elimina a necessidade de seletores CSS/XPath ou parsers personalizados, integrando-se perfeitamente a diversos pipelines de automação. Geração automática de esquema e formatos de saída flexíveis oferecem aos usuários uma maneira fácil de extrair dados limpos e estruturados sem precisar manter lógica de parsing.

Você pode pré-visualizar a ferramenta aqui e integrá-la aos seus fluxos de trabalho usando nossos SDKs Python/JavaScript, servidor MCP ou uma de nossas integrações de terceiros.

Principais recursos

• Extração baseada em prompt de linguagem natural – Defina suas necessidades em inglês simples, e o agente de scraping recuperará as informações relevantes.

• Múltiplos formatos de saída – Escolha JSON para fluxos de trabalho estruturados ou Markdown para resultados legíveis por humanos e fluxos de IA.

• Geração automática de esquema – Gere um esquema automaticamente a partir de um prompt ou defina-o manualmente para parsing JSON preciso.

• Funciona em qualquer página pública – Extraia de e-commerce, notícias, blogs ou qualquer outra fonte acessível.

Como funciona

Para raspar uma página com o AI-Scraper, siga estes passos:

1. Forneça a URL da página que você deseja raspar.

2. Descreva os dados a extrair em linguagem natural (ex.: “Obter todos os nomes de produtos e preços”).

3. Selecione o formato de saída – JSON estruturado ou Markdown.

4. (Opcional) Defina um esquema – Deixe o AI-Scraper gerar um automaticamente, ou forneça seu próprio esquema OpenAPI para a estrutura exata desejada.

Instalação

Para começar, certifique-se de ter acesso a uma chave de API do AI Studio (ou obter um teste gratuito com 1000 créditos) e Python v3.10 ou superior instalado. Você pode instalar o oxylabs-ai-studio pacote usando pip:

pip install oxylabs-ai-studio

Exemplos de código (Python)

Os exemplos a seguir mostram como usar AiScraper para extrair dados de uma página de exemplo.

from oxylabs_ai_studio.apps.ai_scraper import AiScraper
import json

# Inicialize o AI Scraper com sua chave de API
scraper = AiScraper(api_key="YOUR_API_KEY")

# Gere um esquema automaticamente a partir de linguagem natural
schema = scraper.generate_schema(prompt="want to parse developer, platform, type, price game title, and genre (array)")
print(f"Generated schema: {schema}")

# Raspe uma página e extraia dados estruturados
url = "https://sandbox.oxylabs.io/products/3"
result = scraper.scrape(
    url=url,
    output_format="json",
    schema=schema,
    render_javascript=False,
    geo_location="US",
)
# Imprima a saída do scraping como JSON
print("Results:")
print(json.dumps(result.data, indent=2))

Saiba mais sobre AI-Scraper e o SDK Python do Oxylabs AI Studio em nosso repositório PyPI. Você também pode conferir nosso AI Studio JavaScript SDK guia para usuários JS.

Parâmetros da requisição

Parâmetro	Descrição	Valor padrão
url*	URL alvo para raspar	–
output_format	Formato de saída (json, markdown)	markdown
schema	Esquema OpenAPI para extração estruturada (obrigatório para JSON)	–
render_javascript	Habilitar renderização de JavaScript	False
geo_location	Localização do proxy em formato ISO2	–

* – parâmetros obrigatórios

Amostras de saída

AI-Scraper pode retornar saída analisada e pronta para uso, fácil de integrar às suas aplicações.

Veja como é a saída JSON:

{
  "games": [
    {
      "developer": "Nintendo EAD Tokyo",
      "platform": "wii",
      "type": "singleplayer",
      "price": 91.99,
      "title": "Super Mario Galaxy 2",
      "genre": [
        "Action",
        "Platformer"
      ]
    },
    {
      "developer": "Eidos Interactive",
      "platform": "wii",
      "type": null,
      "price": 80.99,
      "title": "Death Jr.: Root of Evil",
      "genre": [
        "Action",
        "Platformer",
        "3D"
      ]
    }
}

Alternativamente, você pode definir output_format para markdown para receber resultados formatados em Markdown em vez de JSON.

Casos de uso práticos

AI-Scraper pode ser aplicado a uma ampla variedade de tarefas de coleta de dados:

1. Extrair detalhes de produtos – Coletar nomes de produtos, descrições e preços de sites de e-commerce.

2. Analisar artigos de notícia – Recuperar títulos de artigos, datas, autores e o texto do corpo.

3. Raspar páginas de preços – Coletar informações de preços estruturadas para pesquisa de concorrência ou de mercado.

4. Extrair vagas de emprego – Capturar títulos de vagas, locais, salários e datas de publicação de portais de recrutamento.