Formando Requisições

Aprenda como formar requisições da Web Scraper API para mecanismos de busca, marketplaces e outros sites. Inclui exemplos de código e orientação sobre parâmetros.

Leia guias detalhados sobre como começar e fazer requisições usando Web Scraper API para diferentes sites.

Motores de busca

Primeiros passos

Selecione o mecanismo de busca que você deseja rastrear: Google, Bing, Outros motores de busca.

Solicitar exemplo

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas"
    }'

import requests
from pprint import pprint

# Estruturar payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir a resposta formatada no stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos o método de integração síncrono Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou integração assíncrona Push-Pull consulte os métodos de integração da seção.

Formando uma requisição

Escolha seu método de integração: síncrono (Realtime, Proxy Endpoint) ou assíncrono (Push-Pull).
Ao formar uma requisição, inclua os seguintes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Content-type. Ao submeter jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua solicitação.
2. URL ou query - Forneça o URL ou query para o tipo de página que você deseja raspar. Consulte a tabela abaixo e as subpáginas-alvo correspondentes para orientação detalhada sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, render e mais para personalizar sua requisição de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. Em cURL, é -k ou --insecure.
Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Payload:
1. URL - Forneça o URL para a página que você quer rastrear.
2. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e envie-os como cabeçalhos.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.google.com/search?q=adidas' \
-H "x-oxylabs-geo-location: California,United States" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Content-type. Ao submeter jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua solicitação.
2. URL ou query - Forneça o URL ou query para o tipo de página que você deseja raspar. Consulte a tabela abaixo e as subpáginas-alvo correspondentes para orientação detalhada sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e mais para personalizar sua requisição de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Ao submeter uma requisição, você receberá prontamente uma resposta JSON contendo todos os detalhes do job, incluindo parâmetros do job, ID do job e URLs para baixar os resultados do job:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=png

Alvo

Fonte (URL de Scraping)

Fonte (Usando Query)

Google

google

google_search,

google_ads,

google_lens,

google_maps,

google_travel_hotels,

google_suggest,

google_trends_explore

Bing

bing

bing_search

Outros motores de busca

universal

Usando query parâmetro não é suportado

Marketplaces

Primeiros passos

Selecione o marketplace online que você deseja rastrear: Amazon, Google Shopping, Walmart, Best Buy, Etsy, Alvo, Outros Sites.

Solicitar exemplo

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

import requests
from pprint import pprint

# Estruturar payload.
payload = {
    'source': 'amazon_product',
    'query': 'B07FZ8S74R',
    'geo_location': '90210',
    'parse': True
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir a resposta formatada no stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "amazon_product",
    query: "B07FZ8S74R",
    geo_location: "90210",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'amazon_product',
    'query' => 'B07FZ8S74R',
    'geo_location' => '90210',
    'parse' => true,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);
?>

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "amazon_product",
                query = "B07FZ8S74R",
                geo_location = "90210",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "amazon_product",
		"query":        "B07FZ8S74R",
		"geo_location": "90210",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "amazon_product");
        jsonObject.put("query", "B07FZ8S74R");
        jsonObject.put("geo_location", "90210");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando uma requisição

Escolha seu método de integração: síncrono (Realtime, Proxy Endpoint) ou assíncrono (Push-Pull).
Ao formar uma requisição, inclua os seguintes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Content-type. Ao submeter jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua solicitação.
2. URL ou query - Forneça o URL ou query para o tipo de página que você deseja raspar. Consulte a tabela abaixo e as subpáginas-alvo correspondentes para orientação detalhada sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, render e mais para personalizar sua requisição de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. Em cURL, é -k ou --insecure.
Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Payload:
1. URL - Forneça o URL para a página que você quer rastrear.
2. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e envie-os como cabeçalhos.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.amazon.com/dp/b07fz8s74r' \
-H "x-oxylabs-geo-location: 90210" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Content-type. Ao submeter jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua solicitação.
2. URL ou query - Forneça o URL ou query para o tipo de página que você deseja raspar. Consulte a tabela abaixo e as subpáginas-alvo correspondentes para orientação detalhada sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e mais para personalizar sua requisição de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Ao submeter uma requisição, você receberá prontamente uma resposta JSON contendo todos os detalhes do job, incluindo parâmetros do job, ID do job e URLs para baixar os resultados do job:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Alvo

Fonte (URL de Scraping)

Fonte (Usando Query)

Amazon

amazon

amazon_product,

amazon_search,

amazon_pricing,

amazon_sellers,

amazon_bestsellers,

amazon_questions

Google Shopping

google

google_shopping_product,

google_shopping_search,

google_shopping_pricing

Walmart Best Buy Etsy Alvo Outros Sites

universal

Usando query parâmetro não é suportado

Outros sites

Primeiros passos

Rastreie qualquer URL com nosso universal source. Você também pode adicionar parâmetros adicionais.

Solicitar exemplo

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

import requests
from pprint import pprint


# Estruturar payload.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/',
    # 'render': 'html', # If page type requires
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'), # Your credentials go here
    json=payload,
)

# Em vez de resposta com status do job e URL dos resultados, isso retornará o
# JSON response with results.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/",
    // 'render': 'html' // If page type requires
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization: "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/',
    // 'render' => 'html' // If page type requires
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/",
		// "render": "html" // If page type requires
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/",
                // render = "html", // If page type requires
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando uma requisição

Escolha seu método de integração: síncrono (Realtime, Proxy Endpoint) ou assíncrono (Push-Pull).
Ao formar uma requisição, inclua os seguintes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Content-type. Ao submeter jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload.
1. source - Este parâmetro define o scraper que será usado para processar sua solicitação.
2. URL - Forneça o URL do alvo que você quer rastrear, por exemplo:
  1. Imobiliário: Idealista, Redfin, Zillow, Zoopla
  2. Viagens: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotivo: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Dados de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Qualquer outro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, e mais para personalizar sua requisição de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. Em cURL, é -k ou --insecure.
Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Payload:
1. URL - Forneça o URL para a página que você quer rastrear, por exemplo:
  1. Imobiliário: Idealista, Redfin, Zillow, Zoopla
  2. Viagens: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotivo: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Dados de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Qualquer outro.
2. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, e envie-os como cabeçalhos.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/'

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nome de usuário e senha (autenticação HTTP). Crie credenciais de usuário da API durante seu registro de teste ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor entre em contato com nosso customer support ou envie uma mensagem para nosso suporte de chat ao vivo 24/7.

Content-type. Ao submeter jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload.
1. source - Este parâmetro define o scraper que será usado para processar sua solicitação.
2. URL - Forneça o URL do alvo que você quer rastrear, por exemplo:
  1. Imobiliário: Idealista, Redfin, Zillow, Zoopla
  2. Viagens: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotivo: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Dados de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Qualquer outro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, e mais para personalizar sua requisição de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```
Ao submeter uma requisição, você receberá prontamente uma resposta JSON contendo todos os detalhes do job, incluindo parâmetros do job, ID do job e URLs para baixar os resultados do job:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Se precisar de ajuda para fazer sua primeira solicitação, sinta-se à vontade para nos contatar via chat ao vivo disponível 24/7.

Todas as informações aqui são fornecidas "no estado em que se encontram" e apenas para fins informativos. Não fazemos nenhuma declaração e isentamos toda responsabilidade com respeito ao seu uso de qualquer informação contida nesta página. Antes de se envolver em atividades de scraping de qualquer tipo, você deve consultar seus assessores jurídicos e ler cuidadosamente os termos de serviço do site em questão ou obter uma licença de scraping.

AnteriorSubstituição de IP PróximoFormando URLs

Atualizado há 5 meses

Isto foi útil?

Boa tarde

hashtagMotores de busca

hashtagPrimeiros passos

hashtagSolicitar exemplo

hashtagFormando uma requisição

hashtagMarketplaces

hashtagPrimeiros passos

hashtagSolicitar exemplo

hashtagFormando uma requisição

hashtagOutros sites

hashtagPrimeiros passos

hashtagSolicitar exemplo

hashtagFormando uma requisição

Motores de busca

Primeiros passos

Solicitar exemplo

Formando uma requisição

Marketplaces

Primeiros passos

Solicitar exemplo

Formando uma requisição

Outros sites

Primeiros passos

Solicitar exemplo

Formando uma requisição