Puppeteer

Configure o Puppeteer com Proxies da Oxylabs para controlar o Chrome ou Chromium sem interface via Node.js. Guia passo a passo com exemplos de código.

Puppeteer é uma biblioteca Node que fornece uma API de alto nível para controlar o Chrome ou Chromium sem interface gráfica por meio do DevTools Protocol.

Assista ao nosso guia em vídeo ou siga as etapas abaixo para integrar o Puppeteer com os seguintes Proxies Oxylabs:

• Residential & Mobile Proxies
• Datacenter Proxies
• Dedicated Datacenter Proxies (Empresarial)
• Dedicated Datacenter Proxies (Autoatendimento)
• ISP Proxies
• Dedicated ISP Proxies

Etapa 1

Instale Node.js e um editor de código de sua preferência. (Pule esta etapa se você já tiver isso)

Etapa 2

Crie um projeto Node.js e instale os pacotes necessários.

Etapa 3

No Puppeteer, preencha o valor, por exemplo:

No seu script do Puppeteer, atribua o --proxy-server valor conforme mostrado abaixo:

(async () => {
    const browser = await puppeteer.launch({
        headless: false,
        args: [`--proxy-server=host:port`]
    });

Insira seu valor de server de acordo com o tipo de proxy Oxylabs escolhido:

• Residential & Mobile Proxies
• Datacenter Proxies
• Dedicated Datacenter Proxies (Empresarial)
• Dedicated Datacenter Proxies (Autoatendimento)
• ISP Proxies
• Dedicated ISP Proxies

Residential & Mobile Proxies

args: [`--proxy-server=pr.oxylabs.io:7777`] //--proxy-server=host:port

Host: pr.oxylabs.io

Porta: 7777

Nome de usuário: customer-USERNAME

Senha: PASSWORD

Observação: Não se esqueça de adicionar customer- prefixo ao seu nome de usuário.

Você também pode usar parâmetros adicionais com proxies residenciais e móveis para definir a geolocalização (país, estado, cidade etc.) e controlar sessões. Confira o para saber mais. Dedicated Datacenter Proxies empresariais

Datacenter Proxies

args: [`--proxy-server=dc.oxylabs.io:8001`] //--proxy-server=host:port

Host: dc.oxylabs.io

Porta: 8001

Nome de usuário: user-username

Senha: senha

Observação: Não se esqueça de adicionar user- prefixo ao seu nome de usuário.

Assinatura pay-per-IP

A porta é o número sequencial atribuído a um endereço IP da lista de proxies adquirida. Assim, a porta 8001 usa o primeiro endereço IP da sua lista. Você também pode ativar de IP do proxy definindo a porta como 8000.

Além disso, você pode especificar o geolocalização, por exemplo, os EUA, definindo o Nome de usuário do proxy para user-USERNAME-country-US.

Assinatura pay-per-traffic

A porta 8001 escolhe um endereço IP aleatório, mas permanece consistente durante uma sessão. Como alternativa, você pode alternar os IPs do proxy a cada solicitação usando a porta 8000.

Se você quiser usar um geolocalização, por exemplo, os EUA, defina o nome de usuário do proxy como user-USERNAME-country-US.

Dedicated Datacenter Proxies (Empresarial)

args: [`--proxy-server=1.2.3.4:60000`] //--proxy-server=host:port

Host: 1.2.3.4 (endereço IP da sua lista de proxies adquirida)

Porta: 60000 (SOCKS5) 1180 USERNAME

Nome de usuário: nome de usuário

Senha: senha

Para Enterprise Dedicated Datacenter Proxies (adquiridos por meio da equipe de vendas), você terá que escolher um endereço IP do conjunto adquirido lista de proxies adquirida.

Dedicated Datacenter Proxies (Autoatendimento)

args: [`--proxy-server=ddc.oxylabs.io:8001`] //--proxy-server=host:port

Host: ddc.oxylabs.io

Porta: 8001

Nome de usuário: user-username

Senha: senha

Observação: Não se esqueça de adicionar user- prefixo ao seu nome de usuário.

Para Self-Service Dedicated Datacenter Proxies (adquiridos pelo painel da Oxylabs), a porta indica o número sequencial de um endereço IP do conjunto adquirido lista de proxies adquirida. Se você quiser obter um IP diferente a cada solicitação, altere a Porta para 8000 para ativar rotação de proxy.

ISP Proxies

args: [`--proxy-server=isp.oxylabs.io:8001`] //--proxy-server=host:port

Host: isp.oxylabs.io

Porta: 8001

Nome de usuário: user-username

Senha: senha

Observação: Não se esqueça de adicionar user- prefixo ao seu nome de usuário.

Com ISP Proxies, a porta é atribuída a um endereço IP específico e à sua localização. Portanto, a porta 8001 sempre escolherá o primeiro IP da sua lista de proxies adquirida. Se você quiser obter um IP diferente a cada solicitação, altere a Porta para 8000 para ativar rotação de proxy.

Dedicated ISP Proxies

args: [`--proxy-server=disp.oxylabs.io:8001`] //--proxy-server=host:port

Host: disp.oxylabs.io

Porta: 8001

Nome de usuário: user-username

Senha: senha

Observação: Não se esqueça de adicionar user- prefixo ao seu nome de usuário.

Você precisará escolher a porta atribuída a um endereço IP da lista comprada lista de proxies adquirida, que você pode encontrar no painel da Oxylabs. A 8001 porta selecionará o primeiro endereço IP da sua lista para todas as solicitações. Use a porta 8000 para rotação automática de IP do proxy.

Etapa 4

Na page.authenticate(), insira o prefixo do usuário do proxy Oxylabs nome de usuário e senha. Um exemplo básico de código deve ficar parecido com isto:

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch({
    headless: false,
    args: ['--proxy-server=pr.oxylabs.io:7777]  
});
  const page = await browser.newPage();
    await page.authenticate({
        username: 'USERNAME',
        password: 'PASSWORD'
    });
    await page.goto('https://ip.oxylabs.io');
    await page.screenshot({path: 'example.png'});
    await browser.close();
})();

Observação: Não se esqueça de adicionar customer- ou user- prefixo ao seu nome de usuário se o tipo de proxy escolhido exigir isso.

E é isso! Você integrou com sucesso os Proxies Oxylabs ao Puppeteer. Você também pode encontrar o proxy-chain tutorial e os guias de proxy rotativo na publicação original do blog sobre integração com o Puppeteer aqui.

Se você quiser aprender mais sobre web scraping com Puppeteer, leia nosso post no blog.

Erros comuns

O Puppeteer está retornando um erro

Um dos problemas que você pode encontrar é o Puppeteer retornar um erro quando você tenta se conectar a um servidor proxy. Os motivos para isso podem ser diversos, sendo o principal o fato de seu servidor proxy exigir autenticação com as credenciais do proxy.

Para resolver esse problema, você precisará inserir o nome de usuário e a senha do seu servidor proxy no opções do Puppeteer objeto. Depois disso, tente usar um proxy novamente.

A página não está carregando

Embora o Puppeteer consiga se conectar ao proxy, ainda pode ter dificuldade para carregar a página. O motivo mais comum disso é uma conexão de internet ruim.

A maneira mais comum de corrigir esse problema é aumentar o tempo limite no opções do Puppeteer objeto. Depois disso, usar um proxy não deve mais ser um problema.

Outros problemas

Se o problema continuar sem solução, isso significa que, por algum motivo, seu proxy não consegue manter a conexão. Nesse caso, verifique seu servidor proxy ou entre em contato com seu provedor para obter mais assistência.