Formação de Requisições

Aprenda a formar requisições da Web Scraper API para mecanismos de busca, marketplaces e outros sites. Inclui exemplos de código e orientação sobre parâmetros.

Leia guias detalhados sobre como começar e fazer requisições usando Web Scraper API para diferentes sites.

Mecanismos de busca

Primeiros passos

Selecione o mecanismo de busca que você quer rastrear: Google, Bing, Outros mecanismos de busca.

Exemplo de requisição

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas"
    }'

import requests
from pprint import pprint

# Estruturar payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir resposta formatada no stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos o método de integração Realtime síncrona em nossos exemplos. Se você quiser usar Proxy Endpoint ou integração assíncrona Push-Pull consulte os métodos de integração na seção.

Formando uma requisição

Escolha seu método de integração: síncrono (Realtime, Proxy Endpoint) ou assíncrono (Push-Pull).
Ao formar uma requisição, inclua os seguintes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Content-type. Ao enviar jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL ou query - Forneça o URL ou query para o tipo de página que você quer rastrear. Consulte a tabela abaixo e as sub-páginas alvo correspondentes para orientações detalhadas sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, render e mais para personalizar sua requisição de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. Em cURL, é -k ou --insecure.
Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Payload:
1. URL - Forneça o URL para a página que você quer rastrear.
2. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e envie-os como cabeçalhos.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.google.com/search?q=adidas' \
-H "x-oxylabs-geo-location: California,United States" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Content-type. Ao enviar jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL ou query - Forneça o URL ou query para o tipo de página que você quer rastrear. Consulte a tabela abaixo e as sub-páginas alvo correspondentes para orientações detalhadas sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e mais para personalizar sua requisição de scraping.

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

Ao enviar uma requisição, você receberá prontamente uma resposta JSON contendo todos os detalhes do job, incluindo parâmetros do job, ID do job e URLs para download dos resultados do job:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=png

Alvo

Fonte (URL de scraping)

Fonte (Usando Query)

Google

google

google_search,

google_ads,

google_lens,

google_maps,

google_travel_hotels,

google_trends_explore

Bing

bing

bing_search

Outros mecanismos de busca

universal

Usar o query parâmetro não é suportado

Marketplaces

Primeiros passos

Selecione o marketplace online que você quer rastrear: Amazon, Google Shopping, Walmart, Best Buy, Etsy, Alvo, Outros sites.

Exemplo de requisição

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

import requests
from pprint import pprint

# Estruturar payload.
payload = {
    'source': 'amazon_product',
    'query': 'B07FZ8S74R',
    'geo_location': '90210',
    'parse': True
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir resposta formatada no stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "amazon_product",
    query: "B07FZ8S74R",
    geo_location: "90210",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'amazon_product',
    'query' => 'B07FZ8S74R',
    'geo_location' => '90210',
    'parse' => true,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);
?>

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "amazon_product",
                query = "B07FZ8S74R",
                geo_location = "90210",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "amazon_product",
		"query":        "B07FZ8S74R",
		"geo_location": "90210",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "amazon_product");
        jsonObject.put("query", "B07FZ8S74R");
        jsonObject.put("geo_location", "90210");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando uma requisição

Escolha seu método de integração: síncrono (Realtime, Proxy Endpoint) ou assíncrono (Push-Pull).
Ao formar uma requisição, inclua os seguintes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Content-type. Ao enviar jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL ou query - Forneça o URL ou query para o tipo de página que você quer rastrear. Consulte a tabela abaixo e as sub-páginas alvo correspondentes para orientações detalhadas sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, render e mais para personalizar sua requisição de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. Em cURL, é -k ou --insecure.
Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Payload:
1. URL - Forneça o URL para a página que você quer rastrear.
2. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e envie-os como cabeçalhos.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.amazon.com/dp/b07fz8s74r' \
-H "x-oxylabs-geo-location: 90210" \
-H "x-oxylabs-parse: 1"

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Content-type. Ao enviar jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload:
1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL ou query - Forneça o URL ou query para o tipo de página que você quer rastrear. Consulte a tabela abaixo e as sub-páginas alvo correspondentes para orientações detalhadas sobre quando usar cada parâmetro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, parse, e mais para personalizar sua requisição de scraping.

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

Ao enviar uma requisição, você receberá prontamente uma resposta JSON contendo todos os detalhes do job, incluindo parâmetros do job, ID do job e URLs para download dos resultados do job:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Alvo

Fonte (URL de scraping)

Fonte (Usando Query)

Amazon

amazon

amazon_product,

amazon_search,

amazon_pricing,

amazon_sellers,

amazon_bestsellers,

amazon_questions

Google Shopping

google

google_shopping_product,

google_shopping_search,

google_shopping_pricing

Walmart Best Buy Etsy Alvo Outros sites

universal

Usar o query parâmetro não é suportado

Outros sites

Primeiros passos

Rastreie qualquer URL com nossa universal source. Você também pode adicionar parâmetros adicionais.

Exemplo de requisição

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

import requests
from pprint import pprint


# Estruturar payload.
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/',
    # 'render': 'html', # Se o tipo de página exigir
}

# Obter resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'), # Suas credenciais vão aqui
    json=payload,
)

# Em vez de resposta com status do job e URL de resultados, isto retornará o
# response JSON com os resultados.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/",
    // 'render': 'html' // Se o tipo de página exigir
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization: "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/',
    // 'render' => 'html' // Se o tipo de página exigir
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/",
		// "render": "html" // Se o tipo de página exigir
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/",
                // render = "html", // Se o tipo de página exigir
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Formando uma requisição

Escolha seu método de integração: síncrono (Realtime, Proxy Endpoint) ou assíncrono (Push-Pull).
Ao formar uma requisição, inclua os seguintes elementos:

Endpoint:

POST https://realtime.oxylabs.io/v1/queries

Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Content-type. Ao enviar jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload.
1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL - Forneça o URL do alvo que você quer rastrear, por exemplo:
  1. Imobiliário: Idealista, Redfin, Zillow, Zoopla
  2. Viagens: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotivo: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Dados de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Qualquer outro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, e mais para personalizar sua requisição de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```

Endpoint:

GET realtime.oxylabs.io:60000

Ignorar certificados. Em cURL, é -k ou --insecure.
Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Payload:
1. URL - Forneça o URL para a página que você quer rastrear, por exemplo:
  1. Imobiliário: Idealista, Redfin, Zillow, Zoopla
  2. Viagens: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotivo: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Dados de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Qualquer outro.
2. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, e envie-os como cabeçalhos.

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/'

Endpoint:

POST https://data.oxylabs.io/v1/queries

Nome de usuário e senha (Autenticação HTTP). Crie credenciais de usuário API durante seu cadastro de avaliação ou compra do produto.

USERNAME:PASSWORD

Se você precisar de mais de um usuário de API para sua conta, por favor contate nosso suporte ao cliente ou envie uma mensagem ao nosso suporte via chat ao vivo 24/7.

Content-type. Ao enviar jobs, sempre adicione este cabeçalho:

Content-Type: application/json

Payload.
1. source - Este parâmetro define o scraper que será usado para processar sua requisição.
2. URL - Forneça o URL do alvo que você quer rastrear, por exemplo:
  1. Imobiliário: Idealista, Redfin, Zillow, Zoopla
  2. Viagens: Airbnb, Agoda, Booking, TripAdvisor
  3. Automotivo: Crunchbase, ZoomInfo, AngelList, Product Hunt
  4. Dados de empresas: Netflix, SoundCloud, YouTube, IMDb
  5. Entretenimento: AutoEurope, Autotrader, RockAuto, Halfords
  6. Qualquer outro.
3. Parâmetros adicionais: Opcionalmente, você pode incluir parâmetros adicionais como geo_location, user_agent_type, e mais para personalizar sua requisição de scraping.
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```
Ao enviar uma requisição, você receberá prontamente uma resposta JSON contendo todos os detalhes do job, incluindo parâmetros do job, ID do job e URLs para download dos resultados do job:

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

Se você precisar de assistência para fazer sua primeira requisição, sinta-se à vontade para nos contatar via chat ao vivo disponível 24/7.

Todas as informações aqui são fornecidas "tal como" e apenas para fins informativos. Não fazemos nenhuma declaração e isentamos toda responsabilidade com relação ao seu uso de qualquer informação contida nesta página. Antes de se envolver em atividades de scraping de qualquer tipo, você deve consultar seus conselheiros jurídicos e ler cuidadosamente os termos de serviço do site específico ou obter uma licença de scraping.

AnteriorSubstituição de IP PróximoFormação de URLs

Atualizado há 21 dias

Isto foi útil?

Boa noite

hashtagMecanismos de busca

hashtagPrimeiros passos

hashtagExemplo de requisição

hashtagFormando uma requisição

hashtagMarketplaces

hashtagPrimeiros passos

hashtagExemplo de requisição

hashtagFormando uma requisição

hashtagOutros sites

hashtagPrimeiros passos

hashtagExemplo de requisição

hashtagFormando uma requisição

Mecanismos de busca

Primeiros passos

Exemplo de requisição

Formando uma requisição

Marketplaces

Primeiros passos

Exemplo de requisição

Formando uma requisição

Outros sites

Primeiros passos

Exemplo de requisição

Formando uma requisição