Renderizado de JavaScript

Aprende a usar el parámetro render en Web Scraper API para que puedas raspar páginas dinámicas de forma eficiente.

Si la página que desea rastrear requiere JavaScript para cargar dinámicamente todos los datos necesarios en el DOM, puede incluir un renderizar parámetro en sus solicitudes en lugar de configurar y usar un navegador sin cabeza manualmente. Las solicitudes con este parámetro se renderizarán completamente y los datos se almacenarán en un archivo HTML o en una captura de pantalla PNG, según el parámetro especificado.

HTML

Establezca el renderizar parámetro en html para obtener la salida sin procesar de la página renderizada.

PNG (Captura de pantalla)

Establezca el renderizar parámetro en png para obtener una captura de pantalla codificada en Base64 de la página renderizada.

Si desea rastrear una imagen y descargarla, consulte esta sección.

Ejemplo de solicitud

curl --user "user:pass" \
'https://realtime.oxylabs.io/v1/queries' \
-H "Content-Type: application/json" \
-d '{"source": "universal", "url": "https://www.example.com", "render": "html"}'

import requests
from pprint import pprint

# Estructurar la carga útil.
payload = {
    'source': 'universal',
    'url': 'https://www.example.com',
    'render': 'html',
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá el
# respuesta JSON con el resultado.
pprint(response.json())

<?php

$params = [
    'source' => 'universal',
    'url' => 'https://www.example.com',
    'render' => 'html',
];

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "user" . ":" . "pass1");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "YOUR_USERNAME";
            const string Password = "YOUR_PASSWORD";

            var parameters = new Dictionary<string, string>()
            {
                { "source", "universal" },
                { "url", "https://www.example.com" },
                { "render" : "html" },
            };


            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "YOUR_USERNAME"
	const Password = "YOUR_PASSWORD"

	payload := map[string]string{
		"source": "universal",
		"url": "https://www.example.com",
        	"render": "html",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "YOUR_USERNAME";
    public static final String PASSWORD = "YOUR_PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://www.example.com");
        jsonObject.put("render": "html");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);

            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            assert response.body() != null;
            System.out.println(response.body().string());
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

import fetch from 'node-fetch';

const username = 'YOUR_USERNAME';
const password = 'YOUR_PASSWORD';
const body = {
  'source': 'universal',
  'url': 'https://www.example.com',
  'render': 'html'
};
const response = await fetch('https://realtime.oxylabs.io/v1/queries', {
  method: 'post',
  body: JSON.stringify(body),
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Basic ' + Buffer.from(`${username}:${password}`).toString('base64'),
  }
});

console.log(await response.json());

El renderizado de JavaScript tarda más tiempo en rastrear la página. Establezca el tiempo de espera en el lado del cliente a 180 segundos si usa los métodos de integración Realtime o Proxy Endpoint.

Para garantizar el menor consumo de tráfico, nuestro sistema no carga activos innecesarios durante la renderización de la página.

Forzar la renderización en páginas específicas

Para un rastreo exitoso, algunos tipos de páginas de dominios específicos requieren renderización debido a su contenido dinámico. Nuestro sistema aplica automáticamente la renderización para estas páginas, incluso si el usuario no la establece explícitamente.

Tenga en cuenta que los trabajos renderizados consumen más tráfico en comparación con los trabajos no renderizados.

Queremos que nuestros usuarios sean plenamente conscientes de esto al rastrear las siguientes páginas:

6KB

Force render domains.csv

Abrir

Este enfoque proporciona la mejor experiencia de rastreo posible, garantizando la precisión y fiabilidad de los datos de estas páginas complejas.

Si desea desactivar la renderización, puede hacerlo agregando el siguiente parámetro a sus solicitudes:

"render": ""

Instrucciones del navegador

Con nuestro Headless Browser también puede ejecutar varias instrucciones del navegador como hacer clic, desplazarse, introducir texto, esperar y más. Lea más:

Instrucciones de navegador

AnteriorRenderizado JS y control del navegador SiguienteInstrucciones de navegador

Última actualización hace 3 días

¿Te fue útil?

Buenos días

hashtagHTML

hashtagPNG (Captura de pantalla)

hashtagEjemplo de solicitud

hashtagForzar la renderización en páginas específicas

hashtagInstrucciones del navegador

HTML

PNG (Captura de pantalla)

Ejemplo de solicitud

Forzar la renderización en páginas específicas

Instrucciones del navegador