Busca de notícias

Raspe resultados do Google News em grande escala e obtenha dados totalmente parseados. Extraia artigos com títulos, fontes e datas de publicação.

A google_search A fonte google_search foi projetada para recuperar resultados da Pesquisa Google (SERPs). Esta subpágina apresenta especificamente dados relacionados à Pesquisa Google News. Para explorar outros tipos de resultado, leia aqui: Pesquisa na web, Pesquisa de imagens.

Para coletar a pesquisa do Google News, inclua o context:udm parâmetro com o valor definido como 12 ou context:tbm parâmetro com o valor definido como nws.

Explorar saída dicionário de dados para cada recurso News SERP, oferecendo uma breve descrição, captura de tela, trecho de código JSON parseado e uma tabela que define cada campo parseado. Navegue pelos detalhes usando a navegação do lado direito ou rolando para baixo na página.

Exemplos de requisição

Nos exemplos abaixo, fazemos uma requisição para obter páginas de resultados da pesquisa News para o termo de busca adidas.

udm

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "udm",
                "value": 12
            }
        ]
    }'

Python

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'udm', 'value': 12},
    ],
}

# Get response.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "udm", value: 12 },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

source=google_search&query=adidas&parse=true&context[0][key]=udm&context[0][value]=12&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'udm',
            'value' => 12,
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "udm", "value": 12},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "udm", value = 12 },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "udm")
                        .put("value", 12))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "udm",
            "value": 12
        }
    ]
}

tbm

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "tbm",
                "value": "nws"
            }
        ]
    }'

Python

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'tbm', 'value': 'nws'},
    ],
}

# Get response.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "tbm", value: "nws" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

source=google_search&query=adidas&parse=true&context[0][key]=tbm&context[0][value]=nws&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'tbm',
            'value' => 'nws',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "tbm", "value": "nws"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "tbm", value = "nws" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "tbm")
                        .put("value", "nws"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "tbm",
            "value": "nws"
        }
    ]
}

Usamos o método de integração síncrona Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou assíncrona Push-Pull integração, consulte a seção de métodos de integração .

Valores dos parâmetros de requisição

Geral

Opções básicas de configuração e personalização para coletar resultados da pesquisa do Google News.

Parâmetro	Descrição	Valor padrão
source	Define o scraper. Use google_search.	–
query	A palavra-chave ou frase a ser pesquisada.	–
context: udm	Para obter resultados da pesquisa News, defina o valor como 12. Encontre outros valores aceitos aqui.	–
context: tbm	Para obter resultados da pesquisa News, defina o valor como nws. Outros valores aceitos são: app, blg, bks, dsc, isch, pts, plcs, rcp, lcl	–
render	Definir como html é obrigatório para esta fonte. Mais informações.	–
parse	Retorna dados parseados quando definido como true. Explore a saída dicionário de dados.	false
callback_url	URL para seu endpoint de callback. Mais informações	–
user_agent_type	Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.	desktop

- parâmetro obrigatório

Observação: udm e tbm os parâmetros context não podem ser usados juntos em uma única requisição de scraping; selecione um deles. Usar ambos simultaneamente pode levar a conflitos ou comportamento inesperado.

Operadores avançados de pesquisa do Google

Ao coletar, pode ser útil combinar operadores avançados de pesquisa do Google com sua consulta. Isso permite personalizar o escopo da busca, garantindo que os resultados sejam mais relevantes e focados. Explore estes comandos especiais aqui e aqui. Veja um exemplo abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple"
}

Localização

Adapte os resultados da busca para locais geográficos e idiomas específicos.

Parâmetro	Descrição	Valor padrão
geo_location	A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados corretos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros sugeridas aqui.	-
locale	Accept-Language valor do cabeçalho que altera o idioma da interface web da sua página de pesquisa do Google. Mais informações.	-

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados de pesquisa.

Parâmetro	Descrição	Valor padrão
start_page	Número da página inicial.	1
pages	Número de páginas a recuperar.	1
limit	Número de resultados a recuperar em cada página.	10
context: limit_per_page	Se você quiser coletar várias páginas com o mesmo endereço IP, inclua um array JSON e especifique os números das páginas usando a page chave. Você também deve indicar o número de resultados orgânicos em cada página adicionando uma limit chave. Veja o exemplo.	-

Limite por página

Para usar este recurso, inclua um array JSON com objetos JSON contendo os seguintes dados:

Parâmetro	Descrição	Exemplo
page	O número da página que você gostaria de coletar. Qualquer valor inteiro maior que 0 funciona	1
limit	O número de resultados na página em questão. Qualquer valor inteiro entre 1 e 100 (inclusive) funciona.	90

Exemplo de requisição

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtragem

Opções para filtrar e refinar os resultados da pesquisa com base em vários critérios.

Parâmetro	Descrição	Valor padrão
context:safe_search	Pesquisa segura. Defina como true para ativá-la.	false
context: tbs	tbs parâmetro. Esse parâmetro é como um contêiner para parâmetros mais obscuros do Google, como limitar/ordenar resultados por data, além de outros filtros, alguns dos quais dependem do tbm parâmetro (por exemplo, tbs=app_os:1 está disponível apenas com tbm valor app). Mais informações aqui.	-

Outros

Configurações e controles avançados adicionais para requisitos especializados.

Parâmetro	Descrição	Valor padrão
context: nfpr	true desativará a correção automática de ortografia	false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao context array como objetos com chave e valor pares, por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Dados estruturados

SERP Scraper API é capaz de extrair um objeto HTML ou JSON que contém resultados de pesquisa do Google, oferecendo dados estruturados sobre vários elementos da página de resultados.

google_search saída estruturada de notícias

{
    "results": [
        {
            "content": {
                "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
                "page": 1,
                "results": {
                    "main": [
                        {
                            "url": "https://www.cnn.com/2022/05/06/business/under-armour-stock-adidas-nike/index.html",
                            "desc": "Tripped-up supply chains and a coronavirus surge in China are causing \nheadaches for top athletic brands.",
                            "title": "Wall Street is fed up with Under Armour, Nike and Adidas",
                            "source": "CNN",
                            "pos_overall": 1,
                            "relative_publish_date": "2 days ago"
                        },
                        ...
                        {
                            "url": "https://www.cnbc.com/2022/05/06/dsw-tests-layout-to-spotlight-brands-like-adidas-crocs-birkenstock.html",
                            "desc": "DSW is trying out a new store look and layout at a location opening this \nweekend in Houston, in an attempt to focus customers' attention on...",
                            "title": "DSW is testing a store layout that puts the spotlight on brands like \nAdidas, Crocs and Birkenstock",
                            "source": "CNBC",
                            "pos_overall": 10,
                            "relative_publish_date": "2 days ago"
                        }
                    ],
                    "total_results_count": 57300000
                },
                "parse_status_code": 12000
            },
            "created_at": "2022-05-09 07:25:03",
            "updated_at": "2022-05-09 07:25:07",
            "page": 1,
            "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
            "job_id": "6929330379711060993",
            "status_code": 200,
            "parser_type": "v2"
        }
    ]
}

Nós analisamos apenas resultados de pesquisa de notícias para desktop pesquisas.

Dicionário de dados de saída

Exemplo em HTML

Estrutura JSON

A saída estruturada da Pesquisa de Notícias do Google inclui campos como URL, page, results, e outros. A tabela abaixo apresenta uma lista detalhada de cada recurso de SERP que analisamos, juntamente com sua descrição e tipo de dado. A tabela também inclui alguns metadados.

O número de itens e campos para um tipo de resultado específico pode variar dependendo da consulta de pesquisa.

Chave	Descrição	Tipo
url	A URL da página de pesquisa do Google.	cadeia de caracteres
results	Um dicionário contendo os resultados da pesquisa.	lista
results.main	Uma lista de resultados de notícias não pagos com seus respectivos detalhes.	lista
results.additional	Uma lista de artigos em destaque com seus respectivos detalhes.	objeto
results.total_results_count	O número total de resultados encontrados para a consulta de pesquisa.	lista
parse_status_code	O código de status do trabalho de análise. Você pode ver os códigos de status do analisador descritos aqui.	inteiro
created_at	O timestamp em que o trabalho de scraping foi criado.	carimbo de data/hora
updated_at	O timestamp em que o trabalho de scraping foi concluído.	carimbo de data/hora
page	Número da página relativo à paginação da SERP do Google.	inteiro
job_id	O ID do trabalho associado ao trabalho de scraping.	cadeia de caracteres
status_code	O código de status do trabalho de scraping. Você pode ver os códigos de status do scraper descritos aqui.	inteiro

Nas seções a seguir, os trechos de código JSON analisados são abreviados quando há mais de um item disponível para o tipo de resultado.

Principal

Exibe uma lista de resultados de notícias não pagos, fornecendo detalhes relevantes de cada artigo.

...
"main": [
    {
        "url": "https://www.yahoo.com/lifestyle/tiger-woods-nikes-epic-partnership-015311819.html",
        "desc": "That there could ever be a world in which Tiger Woods wasn't sponsored by \nNike seemed...",
        "title": "How Tiger Woods and Nike's Epic Partnership Fell Apart",
        "source": "Yahoo",
        "pos_overall": 1,
        "relative_publish_date": "1 day ago"
    },
                       ...
},

...

Chave (results.main)	Descrição	Tipo
url	A URL do artigo completo.	cadeia de caracteres
desc	Um breve trecho do artigo completo.	cadeia de caracteres
title	O título do artigo.	cadeia de caracteres
source	O nome do site onde o artigo é publicado.	cadeia de caracteres
pos_overall	Indica a posição geral do resultado dentro dos resultados principais da SERP de Notícias.	inteiro
relative_publish_date	Descreve há quanto tempo o artigo foi publicado.	cadeia de caracteres

Adicional

Apresenta uma lista de artigos em destaque, acompanhada de detalhes relevantes.

...
"additional": [
    {
        "items": [
            {
                "pos": 1,
                "url": "https://www.complex.com/sneakers/a/brendan-dunne/nike-book-1-colorways-haven-hike-rattlesnake",
                "title": "Nike Book 1 Colorways Haven Hike Rattlesnake",
                "source": "Complex",
                "relative_publish_date": "1 day ago"
            },
         ...
        ],
        "pos_overall": 2,
        "section_title": "Devin Booker confirms issues with Nike Book 1 launch"
    }
...

Chave (results.additional)	Descrição	Tipo
items	Uma lista de artigos com seus respectivos detalhes.	lista
items.pos	Um indicador único que denota a posição do artigo na lista.	inteiro
items.url	A URL do artigo completo.	cadeia de caracteres
items.title	O título do artigo.	cadeia de caracteres
items.source	O nome do site onde o artigo é publicado.	cadeia de caracteres
items.relative_publish_date	Descreve há quanto tempo o artigo foi publicado.	cadeia de caracteres
pos_overall	Indica a posição geral do resultado dentro dos resultados adicionais da SERP de Notícias.	inteiro
section_title	O nome da seção adicional.	cadeia de caracteres