Formación de solicitudes

Aprende a formar solicitudes de Web Scraper API para motores de búsqueda, marketplaces y otros sitios web. Incluye ejemplos de código y guía de parámetros.

Lea guías detalladas sobre cómo empezar y hacer solicitudes usando Web Scraper API para diferentes sitios web.

Motores de búsqueda

que quieras.

Seleccione el motor de búsqueda que desea raspar: Google, Bing, Otros motores de búsqueda.

o escribe a nuestro soporte en chat en vivo 24/7.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas"
    }'

import requests
from pprint import pprint

# Estructurar payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o asíncrono Push-Pull para la integración, consulte los métodos de integración sección.

Formando una solicitud

Elija su método de integración: síncrono (Realtime, Proxy Endpoint) o asíncrono (Push-Pull).
Al formar una solicitud, incluya los siguientes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Carga (payload):
1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL o query - Proporciona el URL o query para el tipo de página que deseas extraer. Consulta la tabla a continuación y las subpáginas objetivo correspondientes para obtener una guía detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, user_agent_type y más para personalizar su solicitud de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. En cURL, es -k o --insecure.
Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Carga (payload):
1. URL - Proporciona el URL para la página que desea raspar.
2. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, y envíelos como encabezados.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.google.com/search?q=adidas' \
-H "x-oxylabs-geo-location: California,United States" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Carga (payload):
1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL o query - Proporciona el URL o query para el tipo de página que deseas extraer. Consulta la tabla a continuación y las subpáginas objetivo correspondientes para obtener una guía detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, y más para personalizar su solicitud de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Al enviar una solicitud, recibirá rápidamente una respuesta JSON que contiene todos los detalles del trabajo, incluidos los parámetros del trabajo, el ID del trabajo y las URL para descargar los resultados:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=png

Objetivo

Fuente (URL de scraping)

Fuente (Usando Query)

Google

google

google_search,

google_ads,

google_lens,

google_maps,

google_travel_hotels,

google_suggest,

google_trends_explore

Bing

bing

bing_search

Otros motores de búsqueda

fuente universal

Usar query parámetro no es compatible

Mercados

que quieras.

Seleccione el mercado en línea que desea raspar: Amazon, Google Shopping, Walmart, Best Buy, Etsy, Objetivo, Otros sitios web.

o escribe a nuestro soporte en chat en vivo 24/7.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

import requests
from pprint import pprint

# Estructurar payload.
payload = {
    'source': 'amazon_product',
    'query': 'B07FZ8S74R',
    'geo_location': '90210',
    'parse': True
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "amazon_product",
    query: "B07FZ8S74R",
    geo_location: "90210",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'amazon_product',
    'query' => 'B07FZ8S74R',
    'geo_location' => '90210',
    'parse' => true,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);
?>

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "amazon_product",
                query = "B07FZ8S74R",
                geo_location = "90210",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "amazon_product",
		"query":        "B07FZ8S74R",
		"geo_location": "90210",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "amazon_product");
        jsonObject.put("query", "B07FZ8S74R");
        jsonObject.put("geo_location", "90210");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando una solicitud

Elija su método de integración: síncrono (Realtime, Proxy Endpoint) o asíncrono (Push-Pull).
Al formar una solicitud, incluya los siguientes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Carga (payload):
1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL o query - Proporciona el URL o query para el tipo de página que deseas extraer. Consulta la tabla a continuación y las subpáginas objetivo correspondientes para obtener una guía detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, user_agent_type y más para personalizar su solicitud de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. En cURL, es -k o --insecure.
Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Carga (payload):
1. URL - Proporciona el URL para la página que desea raspar.
2. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, y envíelos como encabezados.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.amazon.com/dp/b07fz8s74r' \
-H "x-oxylabs-geo-location: 90210" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Carga (payload):
1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL o query - Proporciona el URL o query para el tipo de página que deseas extraer. Consulta la tabla a continuación y las subpáginas objetivo correspondientes para obtener una guía detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, y más para personalizar su solicitud de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Al enviar una solicitud, recibirá rápidamente una respuesta JSON que contiene todos los detalles del trabajo, incluidos los parámetros del trabajo, el ID del trabajo y las URL para descargar los resultados:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Objetivo

Fuente (URL de scraping)

Fuente (Usando Query)

Amazon

amazon

amazon_product,

amazon_search,

amazon_pricing,

amazon_sellers,

amazon_bestsellers,

amazon_questions

Google Shopping

google

google_shopping_product,

google_shopping_search,

google_shopping_pricing

Walmart Best Buy Etsy Objetivo Otros sitios web

fuente universal

Usar query parámetro no es compatible

Otros sitios web

que quieras.

Raspe cualquier URL con nuestro fuente universal source. También puede agregar parámetros adicionales.

o escribe a nuestro soporte en chat en vivo 24/7.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

import requests
from pprint import pprint


# Estructurar payload.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/',
    # 'render': 'html', # Si el tipo de página lo requiere
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'), # Sus credenciales van aquí
    json=payload,
)

json=payload
# respuesta JSON con resultados.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/",
    // 'render': 'html' // Si el tipo de página lo requiere
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization: "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/',
    // 'render' => 'html' // Si el tipo de página lo requiere
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/",
		// "render": "html" // Si el tipo de página lo requiere
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/",
                // render = "html", // Si el tipo de página lo requiere
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando una solicitud

Elija su método de integración: síncrono (Realtime, Proxy Endpoint) o asíncrono (Push-Pull).
Al formar una solicitud, incluya los siguientes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload.
1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL - Proporciona el URL del objetivo que desea raspar, por ejemplo:
  1. Bienes raíces: Idealista, Redfin, Zillow, Zoopla
  2. Viajes: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotriz: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Datos de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimiento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Cualquier otro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, y más para personalizar su solicitud de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. En cURL, es -k o --insecure.
Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Carga (payload):
1. URL - Proporciona el URL para la página que desea raspar, por ejemplo:
  1. Bienes raíces: Idealista, Redfin, Zillow, Zoopla
  2. Viajes: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotriz: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Datos de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimiento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Cualquier otro.
2. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, y envíelos como encabezados.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/'

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nombre de usuario y contraseña (HTTP authentication). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

PASSWORD Si necesitas más de un usuario API para tu cuenta, por favor contacta con nuestro soporte al cliente

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload.
1. source - Este parámetro define el scraper que se usará para procesar tu solicitud.
2. URL - Proporciona el URL del objetivo que desea raspar, por ejemplo:
  1. Bienes raíces: Idealista, Redfin, Zillow, Zoopla
  2. Viajes: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotriz: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Datos de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimiento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Cualquier otro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, y más para personalizar su solicitud de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```
Al enviar una solicitud, recibirá rápidamente una respuesta JSON que contiene todos los detalles del trabajo, incluidos los parámetros del trabajo, el ID del trabajo y las URL para descargar los resultados:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Si necesitas ayuda para realizar tu primera solicitud, no dudes en contactarnos a través del chat en vivo disponible 24/7.

Toda la información aquí se proporciona “tal cual” y solo con fines informativos. No hacemos ninguna declaración y renunciamos a toda responsabilidad con respecto a su uso de cualquier información contenida en esta página. Antes de participar en actividades de scraping de cualquier tipo, debe consultar a sus asesores legales y leer detenidamente los términos de servicio del sitio web en particular o obtener una licencia de scraping.

AnteriorReemplazo de IP SiguienteFormación de URL

Última actualización hace 3 meses

¿Te fue útil?

Buenas tardes

Motores de búsqueda

que quieras.

o escribe a nuestro soporte en chat en vivo 24/7.

Formando una solicitud

Mercados

que quieras.

o escribe a nuestro soporte en chat en vivo 24/7.

Formando una solicitud

Otros sitios web

que quieras.

o escribe a nuestro soporte en chat en vivo 24/7.

Formando una solicitud