Web Scraper API (Clásico)

Aprende a usar Web Scraper API y extraer cualquier sitio web público que necesites. Encuentra ejemplos de código, uso de parámetros, localización, objetivos y mucho más.

Web Scraper API es una solución todo en uno para la recopilación de datos web diseñada para extraer datos en tiempo real a escala de cualquier sitio web público. Cubre cada etapa del scraping web, desde el rastreo de URL y la mejora de las tasas de éxito de acceso hasta el análisis de datos y su entrega en el almacenamiento que prefieras, para que no tengas que gestionar proxies, la gestión de solicitudes ni la infraestructura.

La herramienta está diseñada para cumplir con los estándares de seguridad empresarial, incluida la conformidad con SOC 2 Type II, y ofrece una infraestructura de rápida adaptación que se ajusta dinámicamente a los sitios web objetivo para garantizar altas tasas de éxito y una extracción de datos fiable en motores de búsqueda, sitios de comercio electrónico, plataformas de viajes y más.

Primeros pasos

Crea tus credenciales de usuario de API: Ponte en contacto con nuestro equipo para solicitar tus credenciales de usuario de API (USERNAME y PASSWORD).

Solicitar ejemplos

La API gestiona la rotación de proxies, los reintentos de solicitud y maneja automáticamente los sistemas de monitoreo de bots como parte de su infraestructura integrada, por lo que una sola solicitud es suficiente para recuperar todos los datos estructurados.

A continuación, encontrarás solicitudes cURL de ejemplo. Para ejemplos en otros lenguajes de programación, consulta las secciones correspondientes: Amazon, Google, Otros sitios web.

Amazon

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user "USERNAME:PASSWORD" \\
-H "Content-Type: application/json" \\
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

Google

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "adidas",
        "geo_location": "California,United States",
        "parse": true
    }'

Otros

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

Usamos el método de integración síncrona Realtime en nuestros ejemplos. Si quieres usar Proxy Endpoint o una integración asíncrona Push-Pull , consulta la sección de métodos de integración .

amazon_product output example.json

17KB

Abrir

Generic URL output example.json

23KB

Abrir

Valores de los parámetros de la solicitud

1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL o query - Proporciona el URL o query para el tipo de página que quieres extraer. Consulta la tabla siguiente y las subpáginas de destino correspondientes para obtener una guía detallada sobre cuándo usar cada parámetro.
3. Opcionalmente, puedes incluir parámetros adicionales como geo_location, user_agent_type, parse (encuentra la lista de nuestros analizadores aquí), render y más para personalizar tu solicitud de scraping. Lee más: Funciones.

- parámetro obligatorio

Scraping con URL o entradas parametrizadas

Oxylabs admite dos grupos generales de entradas: URL y entradas parametrizadas como consultas, IDs de producto o video. Destinos genéricos que no tienen una source dedicada pueden extraerse con universal source.

Todos los destinos disponibles con fuentes dedicadas se pueden encontrar aquí.

Si necesitas ayuda para hacer tu primera solicitud o para optimizar tu configuración, nuestro equipo de soporte experto 24/7 está disponible por chat en vivo.

Pruebas a través de Scraper APIs Playground

Prueba Web Scraper API y OxyCopilot en el Scraper APIs Playground.

Pruebas con Postman

Empieza a usar nuestra API con Postman, una herramienta práctica para hacer solicitudes HTTP. Descarga nuestra colección de Postman de Web Scraper API e impórtala. Esta colección incluye ejemplos que demuestran la funcionalidad del scraper. Personaliza los ejemplos según tus necesidades o empieza a extraer datos de inmediato.

Para obtener instrucciones paso a paso, mira nuestro video tutorial a continuación. Si eres nuevo en Postman, consulta esta breve guía.

Toda la información aquí se proporciona "tal cual" y solo con fines informativos. No hacemos ninguna declaración ni asumimos responsabilidad alguna con respecto al uso que hagas de cualquier información contenida en esta página. Antes de realizar actividades de scraping de cualquier tipo, debes consultar a tus asesores legales y leer cuidadosamente los términos de servicio del sitio web en cuestión o contar con una licencia de scraping.