Formación de solicitudes

Aprende cómo formar solicitudes de Web Scraper API para motores de búsqueda, marketplaces y otros sitios web. Incluye ejemplos de código y orientación sobre parámetros.

Lea guías detalladas sobre cómo comenzar y realizar solicitudes usando Web Scraper API para diferentes sitios web.

Motores de búsqueda

Empezando

Seleccione el motor de búsqueda que desea raspar: Google, Bing, Otros motores de búsqueda.

Ejemplo de solicitud

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas"
    }'

import requests
from pprint import pprint

# Estructurar payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos el método de integración Realtime síncrono en nuestros ejemplos. Si desea usar Proxy Endpoint o integración asíncrona Push-Pull consulte los métodos de integración sección.

Formando una solicitud

Elija su método de integración: síncrono (Realtime, Proxy Endpoint) o asíncrono (Push-Pull).
Al formar una solicitud, incluya los siguientes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload:
1. source - Este parámetro establece el scraper que se usará para procesar su solicitud.
2. URL o query - Proporcione el URL o query para el tipo de página que desea raspar. Consulte la tabla a continuación y las subpáginas objetivo correspondientes para obtener orientación detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, render y más para personalizar su solicitud de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. En cURLes -k o --insecure.
Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Payload:
1. URL - Proporcione el URL para la página que desea raspar.
2. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, y envíelos como encabezados.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.google.com/search?q=adidas' \
-H "x-oxylabs-geo-location: California,United States" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload:
1. source - Este parámetro establece el scraper que se usará para procesar su solicitud.
2. URL o query - Proporcione el URL o query para el tipo de página que desea raspar. Consulte la tabla a continuación y las subpáginas objetivo correspondientes para obtener orientación detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parsey más para personalizar su solicitud de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Al enviar una solicitud, recibirá rápidamente una respuesta JSON con todos los detalles del trabajo, incluidos los parámetros del trabajo, el ID del trabajo y las URL para descargar los resultados del trabajo:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=png

Objetivo

Origen (URL de Scraping)

Origen (Usando Query)

Google

google

google_search,

google_ads,

google_lens,

google_maps,

google_travel_hotels,

google_trends_explore

Bing

bing

bing_search

Otros motores de búsqueda

universal

Usar query parámetro no es compatible

Mercados

Empezando

Seleccione el mercado en línea que desea raspar: Amazon, Google Shopping, Walmart, Best Buy, Etsy, Objetivo, Otros sitios web.

Ejemplo de solicitud

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

import requests
from pprint import pprint

# Estructurar payload.
payload = {
    'source': 'amazon_product',
    'query': 'B07FZ8S74R',
    'geo_location': '90210',
    'parse': True
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "amazon_product",
    query: "B07FZ8S74R",
    geo_location: "90210",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'amazon_product',
    'query' => 'B07FZ8S74R',
    'geo_location' => '90210',
    'parse' => true,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);
?>

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "amazon_product",
                query = "B07FZ8S74R",
                geo_location = "90210",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "amazon_product",
		"query":        "B07FZ8S74R",
		"geo_location": "90210",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "amazon_product");
        jsonObject.put("query", "B07FZ8S74R");
        jsonObject.put("geo_location", "90210");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando una solicitud

Elija su método de integración: síncrono (Realtime, Proxy Endpoint) o asíncrono (Push-Pull).
Al formar una solicitud, incluya los siguientes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload:
1. source - Este parámetro establece el scraper que se usará para procesar su solicitud.
2. URL o query - Proporcione el URL o query para el tipo de página que desea raspar. Consulte la tabla a continuación y las subpáginas objetivo correspondientes para obtener orientación detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, render y más para personalizar su solicitud de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. En cURLes -k o --insecure.
Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Payload:
1. URL - Proporcione el URL para la página que desea raspar.
2. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parse, y envíelos como encabezados.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.amazon.com/dp/b07fz8s74r' \
-H "x-oxylabs-geo-location: 90210" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload:
1. source - Este parámetro establece el scraper que se usará para procesar su solicitud.
2. URL o query - Proporcione el URL o query para el tipo de página que desea raspar. Consulte la tabla a continuación y las subpáginas objetivo correspondientes para obtener orientación detallada sobre cuándo usar cada parámetro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, parsey más para personalizar su solicitud de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Al enviar una solicitud, recibirá rápidamente una respuesta JSON con todos los detalles del trabajo, incluidos los parámetros del trabajo, el ID del trabajo y las URL para descargar los resultados del trabajo:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Objetivo

Origen (URL de Scraping)

Origen (Usando Query)

Amazon

amazon

amazon_product,

amazon_search,

amazon_pricing,

amazon_sellers,

amazon_bestsellers,

amazon_questions

Google Shopping

google

google_shopping_product,

google_shopping_search,

google_shopping_pricing

Walmart Best Buy Etsy Objetivo Otros sitios web

universal

Usar query parámetro no es compatible

Otros sitios web

Empezando

Raspe cualquier URL con nuestro universal source. También puede agregar parámetros adicionales.

Ejemplo de solicitud

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

import requests
from pprint import pprint


# Estructurar payload.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/',
    # 'render': 'html', # Si el tipo de página requiere
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'), # Sus credenciales van aquí
    json=payload,
)

# En lugar de respuesta con estado del trabajo y URL de resultados, esto devolverá el
# JSON response with results.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/",
    // 'render': 'html' // Si el tipo de página requiere
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization: "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/',
    // 'render' => 'html' // Si el tipo de página requiere
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/",
		// "render": "html" // Si el tipo de página requiere
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/",
                // render = "html", // Si el tipo de página requiere
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando una solicitud

Elija su método de integración: síncrono (Realtime, Proxy Endpoint) o asíncrono (Push-Pull).
Al formar una solicitud, incluya los siguientes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload.
1. source - Este parámetro establece el scraper que se usará para procesar su solicitud.
2. URL - Proporcione el URL del objetivo que desea raspar, por ejemplo:
  1. Bienes raíces: Idealista, Redfin, Zillow, Zoopla
  2. Viajes: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotriz: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Datos de la empresa: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimiento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Cualquier otro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_typey más para personalizar su solicitud de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. En cURLes -k o --insecure.
Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Payload:
1. URL - Proporcione el URL para la página que desea raspar, por ejemplo:
  1. Bienes raíces: Idealista, Redfin, Zillow, Zoopla
  2. Viajes: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotriz: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Datos de la empresa: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimiento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Cualquier otro.
2. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_type, y envíelos como encabezados.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/'

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nombre de usuario y contraseña (Autenticación HTTP). Cree credenciales de usuario API ya sea durante su registro de prueba o compra del producto.

USERNAME:PASSWORD

Si necesita más de un usuario API para su cuenta, por favor contacte a nuestro soporte al cliente o envíe un mensaje a nuestro soporte de chat en vivo 24/7.

Content-type. Al enviar trabajos, siempre agregue este encabezado:

Content-Type: application/json

Payload.
1. source - Este parámetro establece el scraper que se usará para procesar su solicitud.
2. URL - Proporcione el URL del objetivo que desea raspar, por ejemplo:
  1. Bienes raíces: Idealista, Redfin, Zillow, Zoopla
  2. Viajes: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotriz: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Datos de la empresa: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimiento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Cualquier otro.
3. Parámetros adicionales: Opcionalmente, puede incluir parámetros adicionales como geo_location, user_agent_typey más para personalizar su solicitud de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```
Al enviar una solicitud, recibirá rápidamente una respuesta JSON con todos los detalles del trabajo, incluidos los parámetros del trabajo, el ID del trabajo y las URL para descargar los resultados del trabajo:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Si necesita ayuda para realizar su primera solicitud, no dude en contactarnos a través del chat en vivo disponible 24/7.

Toda la información aquí proporcionada se ofrece "tal cual" y solo con fines informativos. No hacemos ninguna representación y rechazamos toda responsabilidad con respecto a su uso de cualquier información contenida en esta página. Antes de participar en actividades de scraping de cualquier tipo, debe consultar a sus asesores legales y leer cuidadosamente los términos de servicio del sitio web en particular o obtener una licencia de scraping.

AnteriorReemplazo de IP SiguienteFormación de URL

Última actualización hace 21 días

¿Te fue útil?

Buenas noches

hashtagMotores de búsqueda

hashtagEmpezando

hashtagEjemplo de solicitud

hashtagFormando una solicitud

hashtagMercados

hashtagEmpezando

hashtagEjemplo de solicitud

hashtagFormando una solicitud

hashtagOtros sitios web

hashtagEmpezando

hashtagEjemplo de solicitud

hashtagFormando una solicitud

Motores de búsqueda

Empezando

Ejemplo de solicitud

Formando una solicitud

Mercados

Empezando

Ejemplo de solicitud

Formando una solicitud

Otros sitios web

Empezando

Ejemplo de solicitud

Formando una solicitud