AI-Scraper

Aprende a obtener datos web de una sola URL para tus flujos de trabajo de IA usando AI Studio.

Resumen

AI-Scraper es una herramienta de scraping que extrae datos de una sola página web. Identifica y analiza la información relevante según un prompt en lenguaje natural, y luego entrega los resultados en JSON (para automatización y APIs) o Markdown formato (ideal para salidas legibles y flujos de trabajo de IA).

Este AI-Scraper elimina la necesidad de selectores CSS/XPath o analizadores personalizados, por lo que se integra sin problemas con विभिन्न flujos de automatización. Generación automática de esquemas y formatos de salida flexibles ofrecen a los usuarios una forma sencilla de extraer datos limpios y estructurados sin necesidad de mantener lógica de análisis.

Puedes previsualizar la herramienta aquí e integrarla en tus flujos de trabajo mediante nuestros SDKs de Python/JavaScript, el servidor MCP o una de nuestras integraciones de terceros.

Características principales

• Extracción basada en prompts en lenguaje natural – Define lo que necesitas en inglés sencillo, y el agente de scraping recuperará la información relevante.

• Múltiples formatos de salida – Elige JSON para flujos de trabajo estructurados o Markdown para resultados legibles por humanos y flujos de trabajo de IA.

• Generación automática de esquemas – Genera un esquema automáticamente a partir de un prompt o defínelo manualmente para un análisis JSON preciso.

• Funciona en cualquier página web pública – Extrae de sitios de comercio electrónico, noticias, blogs o cualquier otra fuente accesible.

Cómo funciona

Para hacer scraping de una página web con AI-Scraper, sigue estos pasos:

1. Proporciona la URL de la página web que quieres hacer scraping.

2. Describe los datos a extraer en lenguaje natural (por ejemplo, “Obtén todos los nombres y precios de los productos”).

3. Selecciona el formato de salida – JSON estructurado o Markdown.

4. (Opcional) Define un esquema – Deja que AI-Scraper genere uno automáticamente, o proporciona tu propio esquema OpenAPI para la estructura exacta que deseas.

Instalación

Para comenzar, asegúrate de tener acceso a una clave de API de AI Studio (o obtén una prueba gratuita con 1000 créditos) y Python v3.10 o una versión superior instalada. Puedes instalar el oxylabs-ai-studio paquete usando pip:

pip install oxylabs-ai-studio

Ejemplos de código (Python)

Los siguientes ejemplos muestran cómo usar AiScraper para extraer datos de una página de ejemplo.

from oxylabs_ai_studio.apps.ai_scraper import AiScraper
import json

# Initialize the AI Scraper with your API key
scraper = AiScraper(api_key="YOUR_API_KEY")

# Generate a schema automatically from natural language
schema = scraper.generate_schema(prompt="want to parse developer, platform, type, price game title, and genre (array)")
print(f"Generated schema: {schema}")

# Scrape a webpage and extract structured data
url = "https://sandbox.oxylabs.io/products/3"
result = scraper.scrape(
    url=url,
    output_format="json",
    schema=schema,
    render_javascript=False,
    geo_location="US",
)
# Print the scrape output as JSON
print("Results:")
print(json.dumps(result.data, indent=2))

Obtén más información sobre AI-Scraper y Oxylabs AI Studio Python SDK en nuestro repositorio de PyPI. También puedes consultar nuestra guía del SDK de JavaScript de AI Studio para usuarios de JS.

Parámetros de la solicitud

Parámetro	Descripción	Valor predeterminado
url	URL de destino para hacer scraping	–
output_format	Formato de salida (json, markdown)	markdown
schema	Esquema OpenAPI para extracción estructurada (obligatorio para JSON)	–
render_javascript	Habilitar renderizado de JavaScript	False
geo_location	Ubicación del proxy en formato ISO2	–

– parámetros obligatorios

Ejemplos de salida

AI-Scraper puede devolver una salida analizada y lista para usar, fácil de integrar en tus aplicaciones.

Así es como se ve su salida JSON:

{
  "games": [
    {
      "developer": "Nintendo EAD Tokyo",
      "platform": "wii",
      "type": "singleplayer",
      "price": 91.99,
      "title": "Super Mario Galaxy 2",
      "genre": [
        "Action",
        "Platformer"
      ]
    },
    {
      "developer": "Eidos Interactive",
      "platform": "wii",
      "type": null,
      "price": 80.99,
      "title": "Death Jr.: Root of Evil",
      "genre": [
        "Action",
        "Platformer",
        "3D"
      ]
    }
}

Alternativamente, puedes establecer output_format a markdown para recibir resultados en formato Markdown en lugar de JSON.

Casos de uso prácticos

AI-Scraper se puede aplicar a una amplia variedad de tareas de recopilación de datos:

1. Extraer detalles de productos – Recopila nombres, descripciones y precios de productos de sitios de comercio electrónico.

2. Analizar artículos de noticias – Recupera títulos de artículos, fechas, autores y texto del cuerpo.

3. Hacer scraping de páginas de precios – Recopila información estructurada de precios para investigación de competidores o de mercado.

4. Extraer ofertas de empleo – Captura títulos de puestos, ubicaciones, salarios y fechas de publicación de portales de reclutamiento.