Búsqueda de noticias

Extrae resultados de Google News a gran escala y obtén datos completamente analizados. Extrae artículos con títulos, fuentes y fechas de publicación.

La google_search la fuente está diseñada para recuperar resultados de Google Search (SERPs). Esta subpágina presenta específicamente datos relacionados con Google News Search. Para explorar otros tipos de resultados, lea aquí: Búsqueda web, Búsqueda de imágenes.

Para extraer la búsqueda de Google News, incluya el context:udm parámetro con el valor establecido en 12 o context:tbm parámetro con el valor establecido en nws.

Explorar salida diccionario de datos para cada función SERP de News, ofreciendo una breve descripción, captura de pantalla, fragmento de código JSON analizado y una tabla que define cada campo analizado. Navegue por los detalles usando la navegación del lado derecho o desplazándose hacia abajo en la página.

Ejemplos de solicitud

En los ejemplos siguientes, hacemos una solicitud para obtener páginas de resultados de búsqueda de News para el término de búsqueda adidas.

udm

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "udm",
                "value": 12
            }
        ]
    }'

Python

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'udm', 'value': 12},
    ],
}

# Get response.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "udm", value: 12 },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

source=google_search&query=adidas&parse=true&context[0][key]=udm&context[0][value]=12&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'udm',
            'value' => 12,
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "udm", "value": 12},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "udm", value = 12 },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "udm")
                        .put("value", 12))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "udm",
            "value": 12
        }
    ]
}

tbm

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "tbm",
                "value": "nws"
            }
        ]
    }'

Python

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'tbm', 'value': 'nws'},
    ],
}

# Get response.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "tbm", value: "nws" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

source=google_search&query=adidas&parse=true&context[0][key]=tbm&context[0][value]=nws&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'tbm',
            'value' => 'nws',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "tbm", "value": "nws"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "tbm", value = "nws" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "tbm")
                        .put("value", "nws"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "tbm",
            "value": "nws"
        }
    ]
}

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o asíncrona Push-Pull integración, consulte la sección de métodos de integración .

Valores de los parámetros de solicitud

Genérico

Opciones básicas de configuración y personalización para extraer resultados de búsqueda de Google News.

Parámetro	Descripción	Valor predeterminado
source	Establece el scraper. Use google_search.	–
query	La palabra clave o frase a buscar.	–
context: udm	Para obtener resultados de búsqueda de News, establezca el valor en 12. Encuentre otros valores aceptados aquí.	–
context: tbm	Para obtener resultados de búsqueda de News, establezca el valor en nws. Los otros valores aceptados son: app, blg, bks, dsc, isch, pts, plcs, rcp, lcl	–
render	Establecer html es obligatorio para esta fuente. Más información.	–
parse	Devuelve datos analizados cuando se establece en true. Explorar salida diccionario de datos.	false
callback_url	URL de su endpoint de callback. Más información	–
user_agent_type	Tipo de dispositivo y navegador. La lista completa se puede encontrar aquí.	desktop

- parámetro obligatorio

Nota: udm y tbm los parámetros context no se pueden usar juntos en una sola solicitud de scraping; seleccione uno de ellos. Usar ambos simultáneamente puede provocar conflictos o un comportamiento inesperado.

Operadores avanzados de búsqueda de Google

Al extraer, puede resultar útil combinar los operadores avanzados de búsqueda de Google con su consulta. Esto le permite personalizar el alcance de la búsqueda, garantizando que los resultados sean más relevantes y específicos. Explore estos comandos especiales aquí y aquí. Vea un ejemplo a continuación.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple"
}

Localización

Adapte los resultados de búsqueda a ubicaciones geográficas e idiomas específicos.

Parámetro	Descripción	Valor predeterminado
geo_location	La ubicación geográfica para la que se debe adaptar el resultado. Usar este parámetro correctamente es extremadamente importante para obtener los datos correctos. Para obtener más información, lea sobre nuestras geo_location estructuras de parámetros aquí.	-
locale	Accept-Language valor del encabezado que cambia el idioma de la interfaz web de su página de búsqueda de Google. Más información.	-

Paginación

Controles para gestionar la paginación y la recuperación de resultados de búsqueda.

Parámetro	Descripción	Valor predeterminado
start_page	Número de la página inicial.	1
pages	Número de páginas a recuperar.	1
limit	Número de resultados a recuperar en cada página.	10
context: limit_per_page	Si desea extraer varias páginas con la misma dirección IP, incluya un arreglo JSON y especifique los números de página usando la clave page También debe indicar el número de resultados orgánicos en cada página añadiendo una limit clave. Ver ejemplo.	-

Límite por página

Para usar esta función, incluya un arreglo JSON con objetos JSON que contengan los siguientes datos:

Parámetro	Descripción	Ejemplo
page	El número de la página que desea extraer. Cualquier valor entero mayor que 0 funcionará	1
limit	El número de resultados en la página en cuestión. Cualquier valor entero entre 1 y 100 (incluido) funcionará.	90

Muestra de solicitud

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtrado

Opciones para filtrar y refinar los resultados de búsqueda según varios criterios.

Parámetro	Descripción	Valor predeterminado
context:safe_search	Búsqueda segura. Establécelo en true para activarlo.	false
context: tbs	tbs parámetro. Este parámetro es como un contenedor para parámetros de Google más específicos, como limitar/ordenar resultados por fecha, así como otros filtros, algunos de los cuales dependen del tbm parámetro (p. ej. tbs=app_os:1 está disponible solo con tbm valor app). Más información aquí.	-

Otros

Configuraciones y controles avanzados adicionales para requisitos especializados.

Parámetro	Descripción	Valor predeterminado
context: nfpr	true desactivará la autocorrección ortográfica	false

Parámetros de contexto

Todos los parámetros de contexto deben agregarse al context arreglo como objetos con clave y valor pares, p. ej.:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Datos estructurados

SERP Scraper API es capaz de extraer un objeto HTML o JSON que contiene resultados de búsqueda de Google, ofreciendo datos estructurados sobre varios elementos de la página de resultados.

google_search salida estructurada de noticias

{
    "results": [
        {
            "content": {
                "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
                "page": 1,
                "results": {
                    "main": [
                        {
                            "url": "https://www.cnn.com/2022/05/06/business/under-armour-stock-adidas-nike/index.html",
                            "desc": "Las cadenas de suministro con problemas y un aumento de coronavirus en China están causando \nproblemas a las principales marcas deportivas.",
                            "title": "Wall Street está harta de Under Armour, Nike y Adidas",
                            "source": "CNN",
                            "pos_overall": 1,
                            "relative_publish_date": "2 days ago"
                        },
                        ...
                        {
                            "url": "https://www.cnbc.com/2022/05/06/dsw-tests-layout-to-spotlight-brands-like-adidas-crocs-birkenstock.html",
                            "desc": "DSW está probando un nuevo diseño y distribución de tienda en una ubicación que abrirá este \nfin de semana en Houston, con el objetivo de centrar la atención de los clientes en...",
                            "title": "DSW está probando un diseño de tienda que pone el foco en marcas como \nAdidas, Crocs y Birkenstock",
                            "source": "CNBC",
                            "pos_overall": 10,
                            "relative_publish_date": "2 days ago"
                        }
                    ],
                    "total_results_count": 57300000
                },
                "parse_status_code": 12000
            },
            "created_at": "2022-05-09 07:25:03",
            "updated_at": "2022-05-09 07:25:07",
            "page": 1,
            "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
            "job_id": "6929330379711060993",
            "status_code": 200,
            "parser_type": "v2"
        }
    ]
}

Solo analizamos resultados de búsqueda de noticias para desktop búsquedas.

Diccionario de datos de salida

Ejemplo HTML

Estructura JSON

La salida estructurada de Google News Search incluye campos como URL, page, results, y otros. La tabla siguiente presenta una lista detallada de cada función SERP que analizamos, junto con su descripción y tipo de dato. La tabla también incluye algunos metadatos.

El número de elementos y campos para un tipo de resultado específico puede variar según la consulta de búsqueda.

Clave	Descripción	Tipo
url	La URL de la página de búsqueda de Google.	cadena
results	Un diccionario que contiene los resultados de la búsqueda.	arreglo
results.main	Una lista de resultados de noticias no pagados con sus detalles respectivos.	arreglo
results.additional	Una lista de artículos de tendencia con sus detalles respectivos.	objeto
results.total_results_count	El número total de resultados encontrados para la consulta de búsqueda.	arreglo
parse_status_code	El código de estado del trabajo de análisis. Puedes ver los códigos de estado del analizador descritos aquí.	entero
created_at	La marca de tiempo en que se creó el trabajo de scraping.	marca de tiempo
updated_at	La marca de tiempo en que se terminó el trabajo de scraping.	marca de tiempo
page	Número de página relativo a la paginación de Google SERP.	entero
job_id	El ID del trabajo asociado con el trabajo de scraping.	cadena
status_code	El código de estado del trabajo de scraping. Puedes ver los códigos de estado del scraper descritos aquí.	entero

En las siguientes secciones, los fragmentos de código JSON analizados se acortan cuando hay disponible más de un elemento para el tipo de resultado.

Principal

Muestra una lista de resultados de noticias no pagados, proporcionando detalles relevantes para cada artículo.

...
"main": [
    {
        "url": "https://www.yahoo.com/lifestyle/tiger-woods-nikes-epic-partnership-015311819.html",
        "desc": "Que alguna vez pudiera existir un mundo en el que Tiger Woods no estuviera patrocinado por \nNike parecía...",
        "title": "Cómo se deshizo la épica alianza entre Tiger Woods y Nike",
        "source": "Yahoo",
        "pos_overall": 1,
        "relative_publish_date": "1 day ago"
    },
                       ...
},

...

Clave (results.main)	Descripción	Tipo
url	La URL al artículo completo.	cadena
desc	Un breve fragmento del artículo completo.	cadena
title	El título del artículo.	cadena
source	El nombre del sitio web donde se publica el artículo.	cadena
pos_overall	Indica la posición general del resultado dentro de los resultados principales de News SERP.	entero
relative_publish_date	Describe hace cuánto se publicó el artículo.	cadena

Adicional

Presenta una lista de artículos de tendencia, acompañada de detalles relevantes.

...
"additional": [
    {
        "items": [
            {
                "pos": 1,
                "url": "https://www.complex.com/sneakers/a/brendan-dunne/nike-book-1-colorways-haven-hike-rattlesnake",
                "title": "Nike Book 1 Colorways Haven Hike Rattlesnake",
                "source": "Complex",
                "relative_publish_date": "1 day ago"
            },
         ...
        ],
        "pos_overall": 2,
        "section_title": "Devin Booker confirma problemas con el lanzamiento de Nike Book 1"
    }
...

Clave (results.additional)	Descripción	Tipo
items	Una lista de artículos con sus detalles respectivos.	arreglo
items.pos	Un indicador único que denota la posición del artículo en la lista.	entero
items.url	La URL al artículo completo.	cadena
items.title	El título del artículo.	cadena
items.source	El nombre del sitio web donde se publica el artículo.	cadena
items.relative_publish_date	Describe hace cuánto se publicó el artículo.	cadena
pos_overall	Indica la posición general del resultado dentro de los resultados adicionales de News SERP.	entero
section_title	El nombre de la sección adicional.	cadena