News Search

Raspa resultados de Google News a gran escala y obtén datos completamente parseados. Extrae artículos con títulos, fuentes y fechas de publicación.

El google_search source está diseñado para recuperar resultados de búsqueda de Google (SERPs). Esta subpágina presenta específicamente datos relacionados con Google News Search. Para explorar otros tipos de resultados, lea aquí: Búsqueda web, Búsqueda de imágenes.

Para raspar la búsqueda de Google News, incluya el context:udm parámetro con el valor establecido en 12 o context:tbm parámetro con el valor establecido en nws.

Explorar salida diccionario de datos para cada función de SERP de News, ofreciendo una breve descripción, captura de pantalla, fragmento de código JSON parseado y una tabla que define cada campo parseado. Navegue por los detalles usando la navegación lateral derecha o desplazándose hacia abajo en la página.

Solicitar ejemplos

En los ejemplos a continuación, hacemos una solicitud para obtener páginas de resultados de búsqueda de News para el término de búsqueda adidas en el google.nl dominio.

udm

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "domain": "nl",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "udm",
                "value": "12"
            }
        ]
    }'

import requests
from pprint import pprint

# Estructurar payload.
payload = {
    'source': 'google_search',
    'domain': 'nl',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'udm', 'value': '12'},
    ],
}

# Obtener respuesta.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    domain: "nl",
    query: "adidas",
    parse: true,
    context: [
        { key: "udm", value: "12" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'domain' => 'nl',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'udm',
            'value' => '12',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"domain": "nl",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "udm", "value": "12"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                domain = "nl",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "udm", value = "12" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("domain", "nl");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "udm")
                        .put("value", "12"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

tbm

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "domain": "nl",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "tbm",
                "value": "nws"
            }
        ]
    }'

import requests
from pprint import pprint

# Estructurar payload.
payload = {
    'source': 'google_search',
    'domain': 'nl',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'tbm', 'value': 'nws'},
    ],
}

# Obtener respuesta.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprimir la respuesta formateada en stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    domain: "nl",
    query: "adidas",
    parse: true,
    context: [
        { key: "tbm", value: "nws" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'domain' => 'nl',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'tbm',
            'value' => 'nws',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"domain": "nl",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "tbm", "value": "nws"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                domain = "nl",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "tbm", value = "nws" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("domain", "nl");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "tbm")
                        .put("value", "nws"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Usamos el método de integración síncrono Realtime en nuestros ejemplos. Si desea usar Proxy Endpoint o asíncrono Push-Pull para la integración, consulte los métodos de integración sección.

Valores de parámetros de la solicitud

Genérico

Configuración básica y opciones de personalización para raspar los resultados de búsqueda de Google News.

Parámetro

Descripción

Valor predeterminado

source

Establece el scraper.

google_search

query

La palabra clave o frase a buscar.

contexto: udm

Para obtener resultados de búsqueda de News, establezca value en 12. Encuentre otros valores aceptados aquí.

contexto: tbm

Para obtener resultados de búsqueda de News, establezca value en nws. Otros valores aceptados son: app, blg, bks, dsc, isch, pts, plcs, rcp, lcl

user_agent_type

Activa el renderizado de JavaScript cuando se establece en html. Más información.

parse

Devuelve datos parseados cuando se establece en true. Explore la salida diccionario de datos.

false

callback_url

URL de su endpoint de callback. Más información.

user_agent_type

Tipo de dispositivo y navegador. La lista completa se puede encontrar aquí.

desktop

- parámetro obligatorio

- udm y tbm los parámetros de context no pueden usarse juntos en una sola solicitud de raspado; por favor seleccione uno de ellos. Usar ambos simultáneamente puede ocasionar conflictos o comportamientos inesperados.

Operadores avanzados de búsqueda de Google

Al realizar scraping, puede resultar útil combinar los operadores avanzados de búsqueda de Google con su consulta. Esto le permite personalizar el alcance de la búsqueda, asegurando que los resultados sean más relevantes y focalizados. Explore estos comandos especiales aquí y aquí. Vea un ejemplo a continuación.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple",
}

Localización

Adapte los resultados de búsqueda a ubicaciones geográficas específicas, dominios y idiomas.

Parámetro

Descripción

Valor predeterminado

geo_location

La ubicación geográfica para la que se deben adaptar los resultados. Usar este parámetro correctamente es extremadamente importante para obtener los datos correctos. Para más información, lea sobre nuestras sugeridas geo_location estructuras de parámetros aquí.

dominio

Localización de dominio para Google. La lista completa de dominios disponibles se puede encontrar aquí.

com

localidad

Accept-Language valor del encabezado que cambia el idioma de la interfaz web de la página de búsqueda de Google. Más información.

Paginación

Controles para gestionar la paginación y la recuperación de resultados de búsqueda.

Parámetro

Descripción

Valor predeterminado

start_page

Número de página inicial.

1

pages

Número de páginas a recuperar.

1

limit

Número de resultados a recuperar en cada página.

10

context:

limit_per_page

Si desea raspar varias páginas con la misma dirección IP, incluya una matriz JSON y especifique los números de página usando la page clave. También debe indicar la cantidad de resultados orgánicos en cada página añadiendo una limit clave. Ver ejemplo.

Límite por página

Para usar esta función, incluya un array JSON con objetos JSON que contengan los siguientes datos:

Parámetro

Descripción

Ejemplo

page

El número de la página que le gustaría raspar. Cualquier valor entero mayor que 0 funcionará

1

limit

El número de resultados en la página en cuestión. Cualquier valor entero entre 1 y 100 (inclusive) funcionará.

90

o escribe a nuestro soporte en chat en vivo 24/7.

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "limit_per_page",
            "value": [
                {"page": 1, "limit": 10},
                {"page": 2, "limit": 90}
                    ]
        }]
}

Filtrado

Opciones para filtrar y refinar los resultados de búsqueda según varios criterios.

Parámetro

Descripción

Valor predeterminado

context:safe_search

Búsqueda segura. Establecer en true para habilitarla.

false

context: tbs

tbs parámetro. Este parámetro es como un contenedor para parámetros más oscuros de google, como limitar/ordenar resultados por fecha así como otros filtros, algunos de los cuales dependen del tbm parámetro (p. ej. tbs=app_os:1 solo está disponible con tbm value app). Más información aquí.

Otros

Configuraciones avanzadas adicionales y controles para requisitos especializados.

Parámetro

Descripción

Valor predeterminado

context: nfpr

true desactivará la corrección ortográfica automática

false

Parámetros de contexto

Todos los parámetros de contexto deben añadirse al context array como objetos con key y value pares, p. ej.:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Datos estructurados

SERP Scraper API es capaz de extraer un objeto HTML o JSON que contiene resultados de búsqueda de Google, ofreciendo datos estructurados sobre varios elementos de la página de resultados.

google_search salida estructurada de news

{
    "results": [
        {
            "content": {
                "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
                "page": 1,
                "results": {
                    "main": [
                        {
                            "url": "https://www.cnn.com/2022/05/06/business/under-armour-stock-adidas-nike/index.html",
                            "desc": "Cadenas de suministro trastornadas y un aumento de coronavirus en China están causando \ndolores de cabeza para las principales marcas deportivas.",
                            "title": "Wall Street está harto de Under Armour, Nike y Adidas",
                            "source": "CNN",
                            "pos_overall": 1,
                            "relative_publish_date": "hace 2 días"
                        },
                        ...
                        {
                            "url": "https://www.cnbc.com/2022/05/06/dsw-tests-layout-to-spotlight-brands-like-adidas-crocs-birkenstock.html",
                            "desc": "DSW está probando un nuevo aspecto y diseño de tienda en una ubicación que abre este \nfin de semana en Houston, en un intento por centrar la atención de los clientes en...",
                            "title": "DSW está probando un diseño de tienda que pone el foco en marcas como \nAdidas, Crocs y Birkenstock",
                            "source": "CNBC",
                            "pos_overall": 10,
                            "relative_publish_date": "hace 2 días"
                        }
                    ],
                    "total_results_count": 57300000
                },
                "parse_status_code": 12000
            },
            "created_at": "2022-05-09 07:25:03",
            "updated_at": "2022-05-09 07:25:07",
            "page": 1,
            "url": "https://www.google.com/search?q=adidas&tbm=nws&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
            "job_id": "6929330379711060993",
            "status_code": 200,
            "parser_type": "v2"
        }
    ]
}

Solo parseamos resultados de búsqueda de news para desktop búsquedas.

Diccionario de datos de salida

Ejemplo HTML

Estructura JSON

La salida estructurada de Google News Search incluye campos como URL, page, results, y otros. La tabla a continuación presenta una lista detallada de cada característica del SERP que parseamos, junto con su descripción y tipo de datos. La tabla también incluye algunos metadatos.

El número de elementos y campos para un tipo de resultado específico puede variar dependiendo de la consulta de búsqueda.

Clave

Descripción

Tipo

url

La URL de la página de búsqueda de Google.

string

results

Un diccionario que contiene los resultados de la búsqueda.

array

results.main

Una lista de resultados de noticias no pagados con sus respectivos detalles.

array

results.additional

Una lista de artículos de tendencia con sus respectivos detalles.

object

results.total_results_count

El número total de resultados encontrados para la consulta de búsqueda.

array

parse_status_code

El código de estado del trabajo de parseo. Puede ver los códigos de estado del parser descritos aquí.

integer

created_at

La marca de tiempo cuando se creó el trabajo de scraping.

timestamp

updated_at

La marca de tiempo cuando el trabajo de scraping fue finalizado.

timestamp

page

Número de página relativo a la paginación del SERP de Google.

integer

job_id

El ID del trabajo asociado con la tarea de scraping.

string

status_code

El código de estado del trabajo de scraping. Puede ver los códigos de estado del scraper descritos aquí.

integer

En las secciones siguientes, los fragmentos de código JSON parseado se acortan cuando hay más de un elemento disponible para el tipo de resultado.

Principal

Muestra una lista de resultados de noticias no pagados, proporcionando detalles relevantes para cada artículo.

...
"main": [
    {
        "url": "https://www.yahoo.com/lifestyle/tiger-woods-nikes-epic-partnership-015311819.html",
        "desc": "Que alguna vez pudiera existir un mundo en el que Tiger Woods no fuera patrocinado por \nNike parecía...",
        "title": "Cómo se rompió la épica asociación entre Tiger Woods y Nike",
        "source": "Yahoo",
        "pos_overall": 1,
        "relative_publish_date": "hace 1 día"
    },
                       ...
},

...

Clave (results.main)

Descripción

Tipo

url

La URL al artículo completo.

string

desc

Un breve extracto del artículo completo.

string

title

El título del artículo.

string

source

El nombre del sitio web donde se publica el artículo.

string

pos_overall

Indica la posición general del resultado dentro de los resultados principales de News SERP.

integer

relative_publish_date

Describe cuánto tiempo hace desde que se publicó el artículo.

string

Adicional

Presenta una lista de artículos de tendencia, acompañada de detalles relevantes.

...
"additional": [
    {
        "items": [
            {
                "pos": 1,
                "url": "https://www.complex.com/sneakers/a/brendan-dunne/nike-book-1-colorways-haven-hike-rattlesnake",
                "title": "Nike Book 1 Colorways Haven Hike Rattlesnake",
                "source": "Complex",
                "relative_publish_date": "hace 1 día"
            },
         ...
        ],
        "pos_overall": 2,
        "section_title": "Devin Booker confirma problemas con el lanzamiento de Nike Book 1"
    }
...

Clave (results.additional)

Descripción

Tipo

items

Una lista de artículos con sus respectivos detalles.

array

items.pos

Un indicador único que denota la posición del artículo en la lista.

integer

items.url

La URL al artículo completo.

string

items.title

El título del artículo.

string

items.source

El nombre del sitio web donde se publica el artículo.

string

items.relative_publish_date

Describe cuánto tiempo hace desde que se publicó el artículo.

string

pos_overall

Indica la posición general del resultado dentro de los resultados adicionales de News SERP.

integer

section_title

El nombre de la sección adicional.

string

AnteriorImage Search SiguienteLocal Search

Última actualización hace 4 meses

¿Te fue útil?

Buenas noches

Solicitar ejemplos

udm

tbm

Valores de parámetros de la solicitud

Genérico

Operadores avanzados de búsqueda de Google

Localización

Paginación

Límite por página

o escribe a nuestro soporte en chat en vivo 24/7.

Filtrado

Otros

Parámetros de contexto

Datos estructurados

Diccionario de datos de salida

Ejemplo HTML

Estructura JSON

Principal

Adicional