Fazendo requisições

Aprenda a formar solicitações com o Web Unblocker para evitar bloqueios e fazer scraping com sucesso.

A forma mais fácil de começar é enviar uma consulta simples sem opções personalizadas. Nós adicionaremos todos os cabeçalhos padrão do nosso lado, escolheremos o proxy mais rápido e entregaremos o corpo da resposta.

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \
'https://ip.oxylabs.io/location'

Se você estiver observando taxas de sucesso baixas ou recebendo conteúdo vazio, tente adicionar "x-oxylabs-render: html" cabeçalho à sua solicitação. Mais informações sobre renderização de JavaScript podem ser encontradas aqui.

Para utilizar funcionalidades adicionais do Web Unblocker, como configurar a localização do proxy ou reutilizar o mesmo IP por algumas solicitações consecutivas, envie cabeçalhos adicionais com a solicitação.

Para um desbloqueio ideal de sites, o Web Unblocker usa cookies, cabeçalhos e sessões predefinidos. Por favor, evite enviar quaisquer parâmetros personalizados comumente usados para desbloqueio, pois eles podem interferir na capacidade do Web Unblocker de obter dados de qualidade.

Aqui está a lista completa de funcionalidades e cabeçalhos suportados:

Funcionalidades adicionais

Parâmetro

Descrição

Link para saber mais

X-Oxylabs-Session-Id

Se você quiser reutilizar o mesmo IP para várias solicitações, adicione um ID de sessão, que pode ser uma string aleatória de caracteres.

Sessão

X-Oxylabs-Geo-Location

Para usar um endereço IP de um local específico, especifique um país ou uma cidade, por exemplo, Alemanha. Você pode encontrar os valores de geolocalização suportados aqui.

Geolocalização

Cabeçalhos

Se você quiser enviar cabeçalhos personalizados, use x-oxylabs-force-headers: 1 cabeçalho ao enviar sua solicitação.

Cabeçalhos

Você pode adicionar seus cookies, por exemplo, Cookie: NID=1234567890, às suas solicitações.

Cookies

X-Oxylabs-Successful-Status-Codes

Se o site de destino retornar um código de status não padrão com uma resposta bem-sucedida, você pode enviar o código de status da resposta e nosso sistema não tentará novamente a solicitação.

Código de status personalizado

X-Oxylabs-Render

Se você quiser renderizar JavaScript, use html para obter um HTML renderizado ou png para obter uma captura de tela da página.

Renderização de JavaScript

Para exemplos de código mais avançados, consulte as páginas de funcionalidades individuais vinculadas na tabela acima.

Exemplos de código

curl -k -x https://unblock.oxylabs.io:60000 \
-U 'USERNAME:PASSWORD' \
'https://ip.oxylabs.io/headers'

import requests

# Use suas credenciais do Web Unblocker aqui.
USERNAME, PASSWORD = 'YOUR_USERNAME', 'YOUR_PASSWORD'

# Define o dicionário de proxy.
proxies = {
  'http': f'http://{USERNAME}:{PASSWORD}@unblock.oxylabs.io:60000',
  'https': f'https://{USERNAME}:{PASSWORD}@unblock.oxylabs.io:60000',
}

response = requests.request(
    'GET',
    'https://ip.oxylabs.io/headers',
    verify=False,  # Ignora o certificado SSL
    proxies=proxies,
)

# Imprime a página de resultado no stdout
print(response.text)

# Salva o HTML retornado no arquivo result.html
with open('result.html', 'w') as f:
    f.write(response.text)

import fetch from 'node-fetch';
import { HttpsProxyAgent } from 'https-proxy-agent';

const username = 'YOUR_USERNAME';
const password = 'YOUR_PASSWORD';

const agent = new HttpsProxyAgent(
  `https://${username}:${password}@unblock.oxylabs.io:60000`
);

// Ignora o certificado
process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = 0;

const response = await fetch('https://ip.oxylabs.io/headers', {
  method: 'get',
  agent: agent,
});

console.log(await response.text());

<?php
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'https://ip.oxylabs.io/headers');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_PROXY, 'https://unblock.oxylabs.io:60000');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'YOUR_USERNAME' . ':' . 'YOUR_PASSWORD');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"crypto/tls"
	"fmt"
	"io/ioutil"
	"net/http"
	"net/url"
)

func main() {
	const Username = "YOUR_USERNAME"
	const Password = "YOUR_PASSWORD"

	proxyUrl, _ := url.Parse(
		fmt.Sprintf(
			"https://%s:%[email protected]:60000",
			Username,
			Password,
		),
	)
	customTransport := &http.Transport{Proxy: http.ProxyURL(proxyUrl)}

	// Ignora o certificado
	customTransport.TLSClientConfig = &tls.Config{InsecureSkipVerify: true}

	client := &http.Client{Transport: customTransport}
	request, _ := http.NewRequest("GET",
		"https://ip.oxylabs.io/headers",
		nil,
	)

	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Net;
using System.Net.Http;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main(string[] args)
        {
            var webProxy = new WebProxy
            {
                Address = new Uri("https://unblock.oxylabs.io:60000"),
                BypassProxyOnLocal = false,
                UseDefaultCredentials = false,

                Credentials = new NetworkCredential(
                userName: "YOUR_USERNAME",
                password: "YOUR_PASSWORD"
                )
            };

            var httpClientHandler = new HttpClientHandler
            {
                Proxy = webProxy,
            };

            // Ignora o certificado
            httpClientHandler.ClientCertificateOptions = ClientCertificateOption.Manual;
            httpClientHandler.ServerCertificateCustomValidationCallback =
                (httpRequestMessage, cert, cetChain, policyErrors) =>
                {
                    return true;
                };


            var client = new HttpClient(handler: httpClientHandler, disposeHandler: true);

            Uri baseUri = new Uri("https://ip.oxylabs.io/headers");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Get, "");

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import org.apache.hc.client5.http.auth.AuthScope;
import org.apache.hc.client5.http.auth.CredentialsProvider;
import org.apache.hc.client5.http.classic.methods.HttpGet;
import org.apache.hc.client5.http.config.RequestConfig;
import org.apache.hc.client5.http.impl.auth.CredentialsProviderBuilder;
import org.apache.hc.client5.http.impl.classic.CloseableHttpClient;
import org.apache.hc.client5.http.impl.classic.HttpClients;
import org.apache.hc.client5.http.impl.io.PoolingHttpClientConnectionManagerBuilder;
import org.apache.hc.client5.http.ssl.NoopHostnameVerifier;
import org.apache.hc.client5.http.ssl.SSLConnectionSocketFactoryBuilder;
import org.apache.hc.client5.http.ssl.TrustAllStrategy;
import org.apache.hc.core5.http.HttpHost;
import org.apache.hc.core5.http.io.entity.EntityUtils;
import org.apache.hc.core5.http.message.StatusLine;
import org.apache.hc.core5.ssl.SSLContextBuilder;

import java.util.Arrays;
import java.util.Properties;


public class Main {

    public static void main(final String[] args)throws Exception {
        final CredentialsProvider credsProvider = CredentialsProviderBuilder.create()
                .add(new AuthScope("unblock.oxylabs.io", 60000), "USERNAME", "PASSWORD".toCharArray())
                .build();
        final HttpHost target = new HttpHost("https", "ip.oxylabs.io", 443);
        final HttpHost proxy = new HttpHost("https", "unblock.oxylabs.io", 60000);
        try (final CloseableHttpClient httpclient = HttpClients.custom()
                .setDefaultCredentialsProvider(credsProvider)
                .setProxy(proxy)
                // Recomendamos aceitar nosso certificado em vez de permitir tráfego inseguro (http)
                .setConnectionManager(PoolingHttpClientConnectionManagerBuilder.create()
                        .setSSLSocketFactory(SSLConnectionSocketFactoryBuilder.create()
                                .setSslContext(SSLContextBuilder.create()
                                        .loadTrustMaterial(TrustAllStrategy.INSTANCE)
                                        .build())
                                .setHostnameVerifier(NoopHostnameVerifier.INSTANCE)
                                .build())
                        .build())
                .build()) {

            final RequestConfig config = RequestConfig.custom()
                    .build();
            final HttpGet request = new HttpGet("/headers");
            request.setConfig(config);

            System.out.println("Executando solicitação " + request.getMethod() + " " + request.getUri() +
                    " via " + proxy + " headers: " + Arrays.toString(request.getHeaders()));

            httpclient.execute(target, request, response -> {
                System.out.println("----------------------------------------");
                System.out.println(request + "->" + new StatusLine(response));
                EntityUtils.consume(response.getEntity());
                return null;
            });
        }
    }
}

AnteriorPrimeiros passos PróximoSessão

Atualizado há 3 dias

Isto foi útil?

package org.example; import org.apache.hc.client5.http.auth.AuthScope; import org.apache.hc.client5.http.auth.CredentialsProvider; import org.apache.hc.client5.http.classic.methods.HttpGet; import org.apache.hc.client5.http.config.RequestConfig; import org.apache.hc.client5.http.impl.auth.CredentialsProviderBuilder; import org.apache.hc.client5.http.impl.classic.CloseableHttpClient; import org.apache.hc.client5.http.impl.classic.HttpClients; import org.apache.hc.client5.http.impl.io.PoolingHttpClientConnectionManagerBuilder; import org.apache.hc.client5.http.ssl.NoopHostnameVerifier; import org.apache.hc.client5.http.ssl.SSLConnectionSocketFactoryBuilder; import org.apache.hc.client5.http.ssl.TrustAllStrategy; import org.apache.hc.core5.http.HttpHost; import org.apache.hc.core5.http.io.entity.EntityUtils; import org.apache.hc.core5.http.message.StatusLine; import org.apache.hc.core5.ssl.SSLContextBuilder; import java.util.Arrays; import java.util.Properties; public class Main { public static void main(final String[] args)throws Exception { final CredentialsProvider credsProvider = CredentialsProviderBuilder.create() .add(new AuthScope("unblock.oxylabs.io", 60000), "USERNAME", "PASSWORD".toCharArray()) .build(); final HttpHost target = new HttpHost("https", "ip.oxylabs.io", 443); final HttpHost proxy = new HttpHost("https", "unblock.oxylabs.io", 60000); try (final CloseableHttpClient httpclient = HttpClients.custom() .setDefaultCredentialsProvider(credsProvider) .setProxy(proxy) // Recomendamos aceitar nosso certificado em vez de permitir tráfego inseguro (http) .setConnectionManager(PoolingHttpClientConnectionManagerBuilder.create() .setSSLSocketFactory(SSLConnectionSocketFactoryBuilder.create() .setSslContext(SSLContextBuilder.create() .loadTrustMaterial(TrustAllStrategy.INSTANCE) .build()) .setHostnameVerifier(NoopHostnameVerifier.INSTANCE) .build()) .build()) .build()) { final RequestConfig config = RequestConfig.custom() .build(); final HttpGet request = new HttpGet("/headers"); request.setConfig(config); System.out.println("Executando solicitação " + request.getMethod() + " " + request.getUri() + " via " + proxy + " headers: " + Arrays.toString(request.getHeaders())); httpclient.execute(target, request, response -> { System.out.println("----------------------------------------"); System.out.println(request + "->" + new StatusLine(response)); EntityUtils.consume(response.getEntity()); return null; }); } } }

Boa tarde

hashtagFuncionalidades adicionais

hashtagExemplos de código

Funcionalidades adicionais

Exemplos de código