Pesquisa de notícias

Raspe resultados do Google News em grande escala e obtenha dados totalmente analisados. Extraia artigos com títulos, fontes e datas de publicação.

O google_search a fonte foi projetada para recuperar resultados da Pesquisa Google (SERPs). Esta subpágina apresenta especificamente dados relacionados à Pesquisa Google Notícias. Para explorar outros tipos de resultados, leia aqui: Pesquisa na Web, Pesquisa de imagens.

Para coletar a pesquisa do Google Notícias, inclua o context:udm parâmetro com o valor definido como 12 ou context:tbm parâmetro com o valor definido como nws.

Explorar saída dicionário de dados para cada recurso de SERP de Notícias, oferecendo uma breve descrição, captura de tela, trecho de código JSON analisado e uma tabela definindo cada campo analisado. Navegue pelos detalhes usando a navegação à direita ou rolando a página para baixo.

Exemplos de solicitação

Nos exemplos abaixo, fazemos uma solicitação para obter páginas de resultados da pesquisa de Notícias para o termo de busca adidas.

udm

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "udm",
                "value": "12"
            }
        ]
    }'

import requests
from pprint import pprint

# Estruture o payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'udm', 'value': '12'},
    ],
}

# Obtenha a resposta.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprima a resposta formatada em stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "udm", value: "12" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'udm',
            'value' => '12',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "udm", "value": "12"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "udm", value = "12" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "udm")
                        .put("value", "12"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

tbm

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "tbm",
                "value": "nws"
            }
        ]
    }'

import requests
from pprint import pprint

# Estruture o payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'tbm', 'value': 'nws'},
    ],
}

# Obtenha a resposta.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprima a resposta formatada em stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "tbm", value: "nws" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'tbm',
            'value' => 'nws',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "tbm", "value": "nws"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "tbm", value = "nws" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "tbm")
                        .put("value", "nws"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos o método de integração Realtime síncrona em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull , consulte a seção métodos de integração .

Valores dos parâmetros da solicitação

Genérico

Opções básicas de configuração e personalização para coletar resultados da pesquisa do Google Notícias.

Parâmetro

Descrição

Valor padrão

source

Define o scraper.

google_search

query

A palavra-chave ou frase para pesquisar.

context: udm

Para obter resultados da pesquisa de Notícias, defina value como 12. Encontre outros valores aceitos aqui.

context: tbm

Para obter resultados da pesquisa de Notícias, defina value como nws. Outros valores aceitos são: app, blg, bks, dsc, isch, pts, plcs, rcp, lcl

render

Definir como html é necessário para esta fonte. Mais informações.

parse

Retorna dados analisados quando definido como true. Explore a saída dicionário de dados.

false

callback_url

URL para seu endpoint de callback. Mais informações

user_agent_type

Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.

desktop

- parâmetro obrigatório

- udm e tbm os parâmetros de contexto não podem ser usados juntos em uma única solicitação de scraping; selecione um deles. Usar ambos simultaneamente pode causar conflitos ou comportamento inesperado.

Operadores avançados de pesquisa do Google

Ao raspar, pode ser útil combinar operadores avançados de pesquisa do Google com sua consulta. Isso permite personalizar o escopo da pesquisa, garantindo que os resultados sejam mais relevantes e focados. Explore estes comandos especiais aqui e aqui. Veja um exemplo abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple",
}

Localização

Adapte os resultados de busca para locais geográficos e idiomas específicos.

Parâmetro

Descrição

Valor padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros aqui.

locale

valor do cabeçalho Accept-Language Mais informações.

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados da pesquisa.

Parâmetro

Descrição

Valor padrão

start_page

Número da página inicial.

1

pages

Número de páginas para recuperar.

1

limit

Número de resultados para recuperar em cada página.

10

context:

limit_per_page

Se você quiser coletar várias páginas com o mesmo endereço IP, inclua um array JSON e especifique os números das páginas usando a page key. Você também deve indicar o número de resultados orgânicos em cada página adicionando uma limit key. Veja o exemplo.

Limite por página

Para usar este recurso, inclua um array JSON com objetos JSON contendo os dados a seguir:

Parâmetro

Descrição

Exemplo

page

O número da página que você deseja raspar. Qualquer valor inteiro maior que 0 funcionará

1

limit

O número de resultados na página em questão. Qualquer valor inteiro entre 1 e 100 (inclusive) funcionará.

90

Exemplo de solicitação

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtragem

Opções para filtrar e refinar os resultados de busca com base em vários critérios.

Parâmetro

Descrição

Valor padrão

context:safe_search

Pesquisa segura. Defina como true para ativá-la.

false

context: tbs

tbs parâmetro. Esse parâmetro funciona como um contêiner para outros parâmetros menos óbvios do Google, como limitar/ordenar resultados por data, além de outros filtros, alguns dos quais dependem do tbm (por exemplo, tbs=app_os:1 só está disponível com o valor tbm ). Mais informações app. aqui.

Outros

Configurações e controles avançados adicionais para requisitos especializados.

Parâmetro

Descrição

Valor padrão

context: nfpr

true desativará a autocorreção ortográfica

false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao array context como objetos com pares key e ). Mais informações , por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Dados estruturados

A SERP Scraper API é capaz de extrair um objeto HTML ou JSON que contém resultados de pesquisa do Google, oferecendo dados estruturados sobre vários elementos da página de resultados.

google_search saída estruturada de notícias

{
    "results": [
        {
            "content": {
                "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
                "page": 1,
                "results": {
                    "main": [
                        {
                            "url": "https://www.cnn.com/2022/05/06/business/under-armour-stock-adidas-nike/index.html",
                            "desc": "Problemas nas cadeias de suprimentos e um aumento de coronavírus na China estão causando \n dores de cabeça para as principais marcas esportivas.",
                            "title": "Wall Street está cansada da Under Armour, Nike e Adidas",
                            "source": "CNN",
                            "pos_overall": 1,
                            "relative_publish_date": "2 dias atrás"
                        },
                        ...
                        {
                            "url": "https://www.cnbc.com/2022/05/06/dsw-tests-layout-to-spotlight-brands-like-adidas-crocs-birkenstock.html",
                            "desc": "A DSW está testando um novo visual e layout da loja em um local que abre neste \nfim de semana em Houston, na tentativa de chamar a atenção dos clientes para...",
                            "title": "A DSW está testando um layout de loja que destaca marcas como \nAdidas, Crocs e Birkenstock",
                            "source": "CNBC",
                            "pos_overall": 10,
                            "relative_publish_date": "2 dias atrás"
                        }
                    ],
                    "total_results_count": 57300000
                },
                "parse_status_code": 12000
            },
            "created_at": "2022-05-09 07:25:03",
            "updated_at": "2022-05-09 07:25:07",
            "page": 1,
            "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
            "job_id": "6929330379711060993",
            "status_code": 200,
            "parser_type": "v2"
        }
    ]
}

Nós só analisamos resultados de pesquisa de notícias para desktop pesquisas.

Dicionário de dados de saída

Exemplo de HTML

Estrutura JSON

A saída estruturada da Pesquisa Google Notícias inclui campos como URL, page, resultados, e outros. A tabela abaixo apresenta uma lista detalhada de cada recurso de SERP que analisamos, junto com sua descrição e tipo de dado. A tabela também inclui alguns metadados.

O número de itens e campos para um tipo de resultado específico pode variar dependendo da consulta de pesquisa.

Chave

Descrição

Tipo

url

A URL da página de pesquisa do Google.

string

resultados

Um dicionário contendo os resultados da pesquisa.

array

results.main

Uma lista de resultados de notícias não pagos com seus respectivos detalhes.

array

results.additional

Uma lista de artigos em alta com seus respectivos detalhes.

object

results.total_results_count

O número total de resultados encontrados para a consulta de pesquisa.

array

parse_status_code

O código de status do trabalho de análise. Você pode ver os códigos de status do parser descritos aqui.

integer

created_at

O timestamp em que o trabalho de scraping foi criado.

timestamp

updated_at

O timestamp em que o trabalho de scraping foi concluído.

timestamp

page

Número da página relativo à paginação da SERP do Google.

integer

job_id

O ID do trabalho associado ao trabalho de scraping.

string

status_code

O código de status do trabalho de scraping. Você pode ver os códigos de status do scraper descritos aqui.

integer

Nas seções a seguir, os trechos de código JSON analisados são abreviados quando há mais de um item disponível para o tipo de resultado.

Principal

Exibe uma lista de resultados de notícias não pagos, fornecendo detalhes relevantes para cada artigo.

...
"main": [
    {
        "url": "https://www.yahoo.com/lifestyle/tiger-woods-nikes-epic-partnership-015311819.html",
        "desc": "Que pudesse haver um mundo em que Tiger Woods não fosse patrocinado pela \nNike parecia...",
        "title": "Como a parceria épica entre Tiger Woods e a Nike desmoronou",
        "source": "Yahoo",
        "pos_overall": 1,
        "relative_publish_date": "1 day ago"
    },
                       ...
},

...

Chave (results.main)

Descrição

Tipo

url

A URL do artigo completo.

string

desc

Um breve trecho do artigo completo.

string

title

O título do artigo.

string

source

O nome do site onde o artigo é publicado.

string

pos_overall

Indica a posição geral do resultado dentro dos resultados principais da SERP de Notícias.

integer

relative_publish_date

Descreve há quanto tempo o artigo foi publicado.

string

Adicional

Apresenta uma lista de artigos em alta, acompanhada de detalhes relevantes.

...
"additional": [
    {
        "items": [
            {
                "pos": 1,
                "url": "https://www.complex.com/sneakers/a/brendan-dunne/nike-book-1-colorways-haven-hike-rattlesnake",
                "title": "Nike Book 1 Colorways Haven Hike Rattlesnake",
                "source": "Complex",
                "relative_publish_date": "1 day ago"
            },
         ...
        ],
        "pos_overall": 2,
        "section_title": "Devin Booker confirma problemas com o lançamento do Nike Book 1"
    }
...

Chave (results.additional)

Descrição

Tipo

itens

Uma lista de artigos com seus respectivos detalhes.

array

items.pos

Um indicador único que denota a posição do artigo na lista.

integer

items.url

A URL do artigo completo.

string

items.title

O título do artigo.

string

items.source

O nome do site onde o artigo é publicado.

string

items.relative_publish_date

Descreve há quanto tempo o artigo foi publicado.

string

pos_overall

Indica a posição geral do resultado dentro dos resultados adicionais da SERP de Notícias.

integer

section_title

O nome da seção adicional.

string

AnteriorPesquisa de imagens PróximoPesquisa Local

Atualizado há 25 dias

Isto foi útil?