AI-Scraper

Aprenda a obter dados da web de uma única URL para seus fluxos de trabalho de IA usando o AI Studio.

Visão geral

AI-Scraper é uma ferramenta de scraping que extrai dados de uma única página da web. Ela identifica e analisa informações relevantes com base em um prompt em linguagem natural, e então entrega os resultados em JSON (para automação e APIs) ou Markdown formato (ideal para saídas legíveis e fluxos de trabalho de IA).

Este AI scraper elimina a necessidade de seletores CSS/XPath ou parsers personalizados, então ele se integra perfeitamente a vários pipelines de automação. Geração automática de schema e formatos de saída flexíveis oferecem aos usuários uma maneira fácil de extrair dados limpos e estruturados sem nunca precisar manter lógica de parsing.

Você pode visualizar a ferramenta aqui e integrá-la aos seus fluxos de trabalho por meio dos nossos SDKs de Python/JavaScript, servidor MCP ou uma das nossas integrações de terceiros.

Principais recursos

• Extração baseada em prompt em linguagem natural – Defina suas necessidades em inglês simples, e o agente de scraping recuperará as informações relevantes.

• Múltiplos formatos de saída – Escolha JSON para fluxos de trabalho estruturados ou Markdown para resultados legíveis por humanos e fluxos de trabalho de IA.

• Geração automática de schema – Gere um schema automaticamente a partir de um prompt ou defina-o manualmente para um parsing preciso de JSON.

• Funciona em qualquer página pública – Extraia de e-commerce, notícias, blogs ou qualquer outra fonte acessível.

Como funciona

Para fazer scraping de uma página da web com AI-Scraper, siga estas etapas:

1. Forneça a URL da página que você quer fazer scraping.

2. Descreva os dados a extrair em linguagem natural (por exemplo, “Obtenha todos os nomes e preços dos produtos”).

3. Selecione o formato de saída – JSON estruturado ou Markdown.

4. (Opcional) Defina um schema – Deixe o AI-Scraper gerar um automaticamente, ou forneça seu próprio schema OpenAPI para a estrutura exata que você deseja.

Instalação

Para começar, certifique-se de ter acesso a uma chave de API do AI Studio (ou obtenha um teste gratuito com 1000 créditos) e Python v3.10 ou superior instalado. Você pode instalar o oxylabs-ai-studio pacote usando pip:

pip install oxylabs-ai-studio

Exemplos de código (Python)

Os exemplos a seguir mostram como usar AiScraper para extrair dados de uma página de exemplo.

from oxylabs_ai_studio.apps.ai_scraper import AiScraper
import json

# Inicialize o AI Scraper com sua chave de API
scraper = AiScraper(api_key="YOUR_API_KEY")

# Gere um esquema automaticamente a partir de linguagem natural
schema = scraper.generate_schema(prompt="want to parse developer, platform, type, price game title, and genre (array)")
print(f"Generated schema: {schema}")

# Faça scraping de uma página da web e extraia dados estruturados
url = "https://sandbox.oxylabs.io/products/3"
result = scraper.scrape(
    url=url,
    output_format="json",
    schema=schema,
    render_javascript=False,
    geo_location="US",
)
# Imprima a saída do scraping como JSON
print("Results:")
print(json.dumps(result.data, indent=2))

Saiba mais sobre AI-Scraper e Oxylabs AI Studio Python SDK em nossa repositório PyPI. Você também pode conferir nosso SDK JavaScript do AI Studio guia para usuários de JS.

Parâmetros da solicitação

Parâmetro	Descrição	Valor padrão
url	URL de destino para fazer scraping	–
output_format	Formato de saída (json, markdown)	markdown
schema	Schema OpenAPI para extração estruturada (obrigatório para JSON)	–
render_javascript	Ativar renderização de JavaScript	False
geo_location	Localização do proxy no formato ISO2	–

– parâmetros obrigatórios

Exemplos de saída

AI-Scraper pode retornar saída analisada e pronta para uso, fácil de integrar às suas aplicações.

Veja como é a saída JSON:

{
  "games": [
    {
      "developer": "Nintendo EAD Tokyo",
      "platform": "wii",
      "type": "singleplayer",
      "price": 91.99,
      "title": "Super Mario Galaxy 2",
      "genre": [
        "Action",
        "Platformer"
      ]
    },
    {
      "developer": "Eidos Interactive",
      "platform": "wii",
      "type": null,
      "price": 80.99,
      "title": "Death Jr.: Root of Evil",
      "genre": [
        "Action",
        "Platformer",
        "3D"
      ]
    }
}

Como alternativa, você pode definir output_format até markdown para receber resultados formatados em Markdown em vez de JSON.

Casos de uso práticos

AI-Scraper pode ser aplicado a uma ampla variedade de tarefas de coleta de dados:

1. Extrair detalhes de produtos – Reúna nomes, descrições e preços de produtos de sites de e-commerce.

2. Analisar artigos de notícias – Recupere títulos, datas, autores e o texto do corpo dos artigos.

3. Fazer scraping de páginas de preços – Colete informações estruturadas de preços para pesquisa de concorrência ou de mercado.

4. Extrair vagas de emprego – Capture cargos, localizações, salários e datas de publicação de portais de recrutamento.