Busca de imagens

Extraia resultados do Google Image Search com dados parseados, incluindo listagens orgânicas de imagens, URLs das imagens, domínios de origem, títulos, buscas sugeridas e informações de busca.

A google_search A fonte foi projetada para recuperar resultados da Pesquisa Google (SERPs). Esta subpágina apresenta especificamente dados relacionados à Pesquisa de Imagens do Google. Para explorar outros tipos de resultado, leia aqui: Pesquisa na Web, Pesquisa de Notícias.

Para fazer scraping da Pesquisa de Imagens do Google, inclua o context:udm parâmetro com o valor definido como 2 ou context:tbm parâmetro com o valor definido como isch.

Explore a saída dicionário de dados para cada recurso de SERP de Imagens, oferecendo uma breve descrição, captura de tela, trecho de código JSON analisado e uma tabela que define cada campo analisado. Navegue pelos detalhes usando a navegação à direita ou rolando a página para baixo.

Exemplos de solicitação

Nos exemplos abaixo, fazemos uma solicitação para obter páginas de resultados da pesquisa de imagens para o termo de pesquisa adidas.

udm

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "udm",
                "value": 2
            }
        ]
    }'

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'udm', 'value': 2},
    ],
}

# Get response.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "udm", value: 2 },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

https://realtime.oxylabs.io/v1/queries?source=google_search&query=adidas&parse=true&context[0][key]=udm&context[0][value]=2&access_token=12345abcde

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'udm',
            'value' => 2,
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "udm", "value": 2},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "udm", value = 2 },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "udm")
                        .put("value", 2))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "udm",
            "value": 2
        }
    ]
}

tbm

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas",
        "parse": true,
        "context": [
            {
                "key": "tbm",
                "value": "isch"
            }
        ]
    }'

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google_search',
    'query': 'adidas',
    'parse': True,
    'context': [
        {'key': 'tbm', 'value': 'isch'},
    ],
}

# Get response.
response = requests.post(
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
    parse: true,
    context: [
        { key: "tbm", value: "isch" },
    ],
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

https://realtime.oxylabs.io/v1/queries?source=google_search&query=adidas&parse=true&context[0][key]=tbm&context[0][value]=isch&access_token=12345abcde

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
    'parse' => true,
    'context' => [
        [
            'key' => 'tbm',
            'value' => 'isch',
        ]
    ]
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
		"parse":  true,
		"context": []map[string]interface{}{
			{"key": "tbm", "value": "isch"},
		},
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
                parse = true,
                context = new dynamic [] {
                    new { key = "tbm", value = "isch" },
                }
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONArray;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");
        jsonObject.put("parse", true);
        jsonObject.put("context", new JSONArray()
                .put(new JSONObject()
                        .put("key", "tbm")
                        .put("value", "isch"))
        );

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

{
    "source": "google_search",
    "query": "adidas",
    "parse": true,
    "context": [
        {
            "key": "tbm",
            "value": "isch"
        }
    ]
}

Usamos o método de integração síncrona Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull de integração, consulte a seção de métodos de integração .

Valores dos parâmetros da solicitação

Geral

Opções básicas de configuração e personalização para fazer scraping dos resultados de pesquisa de imagens do Google.

Parâmetro

Descrição

Valor padrão

source

Define o scraper. Use google_search.

–

query

A palavra-chave ou frase a ser pesquisada.

–

context: udm

Para obter resultados da pesquisa de imagens, defina o valor como 2. Encontre outros valores aceitos aqui.

–

context: tbm

Para obter resultados da pesquisa de imagens, defina o valor como isch. Outros valores aceitos: app, blg, bks, dsc, nws, pts, plcs, rcp, lcl.

–

render

Ativa a renderização JavaScript quando definido como html. Mais informações.

–

parse

Retorna dados analisados quando definido como true. Explore a saída dicionário de dados.

false

callback_url

URL do seu endpoint de callback. Mais informações

–

user_agent_type

Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.

desktop

- parâmetro obrigatório

udm e tbm os parâmetros de contexto não podem ser usados juntos em uma única solicitação de scraping; escolha um deles. Usar ambos simultaneamente pode levar a conflitos ou comportamento inesperado.

Operadores avançados de pesquisa do Google

Ao fazer scraping, você pode achar útil combinar operadores avançados de pesquisa do Google com sua consulta. Isso permite personalizar o escopo da pesquisa, garantindo que os resultados sejam mais relevantes e focados. Explore esses comandos especiais aqui e aqui. Veja um exemplo abaixo.

{
    "source": "google_search",
    "query": "iphone 15 launch inurl:apple"
}

Localização

Adapte os resultados da pesquisa para locais geográficos e idiomas específicos.

Parâmetro

Descrição

Valor padrão

geo_location

A localização geográfica para a qual o resultado deve ser adaptado. Usar este parâmetro corretamente é extremamente importante para obter os dados certos. Para mais informações, leia sobre nossas geo_location estruturas de parâmetros aqui.

locale

Accept-Language valor do cabeçalho que altera o idioma da interface web da sua página de pesquisa do Google. Mais informações.

Paginação

Controles para gerenciar a paginação e a recuperação dos resultados da pesquisa.

Parâmetro

Descrição

Valor padrão

start_page

Número inicial da página.

1

pages

Número de páginas a recuperar.

1

Filtragem

Opções para filtrar e refinar os resultados da pesquisa com base em vários critérios.

Parâmetro

Descrição

Valor padrão

context:safe_search

Pesquisa segura. Defina como true para ativá-la.

false

context: tbs

tbs parâmetro. Contêiner para parâmetros mais obscuros do Google, como limitar/classificar resultados por data ou outros filtros que dependem do tbm (por exemplo, tbs=app_os:1 está disponível apenas com tbm valor app). Mais informações aqui.

Outros

Configurações e controles avançados adicionais para requisitos especializados.

Parâmetro

Descrição

Valor padrão

context: fpstate

Definir o fpstate valor para aig fará o Google carregar mais aplicativos. Esse parâmetro só é útil se usado junto com o render parâmetro.

context: nfpr

true desativará a autocorreção ortográfica

false

Parâmetros de contexto

Todos os parâmetros de contexto devem ser adicionados ao context vetor como objetos com chave e valor pares, por exemplo:

...
"context": [
    {
        "key": "filter",
        "value": "0"
    }
]
...

Dados estruturados

SERP Scraper API é capaz de extrair um objeto HTML ou JSON que contém resultados de pesquisa do Google, oferecendo dados estruturados sobre vários elementos da página de resultados.

google_search saída estruturada de imagens

{
    "results": [
        {
            "content": {
                "url": "https://www.google.com/search?q=adidas&tbm=isch&gbv=1&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
                "results": {
                    "organic": [
                        {
                            "pos": 1,
                            "link": "/url?q=https://www.adidas.com/us/superstar-shoes/EG4958.html&sa=U&ved=2ahUKEwiP4pv98dH3AhUY8rsIHTP1C64QqoUBegQIAxAB&usg=AOvVaw1qdoyk_FXXss1qGlPCyT1k",
                            "image": "https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcQaV6fadzwfHzBcTbF0i3Uat_MLSvoJ6702u7iONGGz2jwdItge9zQTi6gjhg&s",
                            "title": "Men's Superstar Cloud White...",
                            "domain": "www.adidas.com",
                            "pos_overall": 1
                        },
                        ...
                        {
                            "pos": 20,
                            "link": "/url?q=https://www.adidas.com/us/men-shoes&sa=U&ved=2ahUKEwiP4pv98dH3AhUY8rsIHTP1C64QqoUBegQIBRAB&usg=AOvVaw37cvHwAEOJFq55hDO1iXtw",
                            "image": "https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcTiprl_ce5WWZHyY3fFm2iXpOkhiy3EoOMv7UnuRoZ3zvYcpOS1MCKlzIFuSes&s",
                            "title": "Men's Shoes & Sneakers |...",
                            "domain": "www.adidas.com",
                            "pos_overall": 20
                        }
                    ],
                    "search_information": {
                        "query": "adidas",
                        "showing_results_for": "adidas"
                    },
                    "suggested_searches": [
                        "logo",
                        "shoes",
                        "wallpaper",
                        "superstar",
                        "yeezy",
                        "stan smith",
                        "ultra boost",
                        "nmd",
                        "eqt",
                        "tubular"
                    ]
                },
                "parse_status_code": 12000
            },
            "created_at": "2022-05-09 07:26:14",
            "updated_at": "2022-05-09 07:26:18",
            "page": 1,
            "url": "https://www.google.com/search?q=adidas&tbm=isch&gbv=1&uule=w+CAIQICINdW5pdGVkIHN0YXRlcw&gl=us&hl=en",
            "job_id": "6929330677540195329",
            "status_code": 200,
            "parser_type": "v2"
        }
    ]
}

Analisamos apenas resultados de pesquisa de imagens para desktop pesquisas.

Dicionário de dados de saída

Exemplo de HTML

Estrutura JSON

A saída estruturada da Pesquisa de Imagens do Google inclui campos como URL, page, resultse outros. A tabela abaixo apresenta uma lista detalhada de cada recurso de SERP que analisamos, junto com sua descrição e tipo de dado. A tabela também inclui alguns metadados.

A quantidade de itens e campos para um tipo específico de resultado pode variar dependendo da consulta de pesquisa.

Chave (results.images)

Descrição

Tipo

url

A URL da página de pesquisa do Google.

cadeia de caracteres

results

Um dicionário contendo os resultados da pesquisa.

vetor

results.organic

Uma lista de resultados orgânicos com seus respectivos detalhes.

vetor

resaults.search_information

Uma lista de detalhes da consulta de pesquisa enviada.

objeto

results.suggested_searches

Uma lista de pesquisas sugeridas exibidas logo abaixo da consulta de pesquisa original.

vetor

parse_status_code

O código de status da tarefa de parsing. Você pode ver os códigos de status do parser descritos aqui.

inteiro

created_at

O carimbo de data/hora em que o trabalho de scraping foi criado.

carimbo de data/hora

updated_at

O carimbo de data/hora em que o trabalho de scraping foi concluído.

carimbo de data/hora

page

Número da página em relação à paginação da SERP do Google.

inteiro

job_id

O ID do trabalho associado ao trabalho de scraping.

cadeia de caracteres

status_code

O código de status da tarefa de scraping. Você pode ver os códigos de status do scraper descritos aqui.

inteiro

Nas seções a seguir, os trechos de código JSON analisados são encurtados quando há mais de um item disponível para o tipo de resultado.

Orgânico

A Pesquisa de Imagens organic Esta seção mostra listagens não pagas nos resultados da Pesquisa de Imagens do Google, organizadas por relevância pelo algoritmo do Google. Esses resultados são apresentados a usuários que buscam conteúdo visual e são exibidos em uma seção dedicada, distinta de outros tipos de resultados de pesquisa.

...
"organic": [
    {
        "pos": 1,
        "link": "/url?q=https://www.amazon.com/Ravensburger-Glitter-Unicorn-Together-Perfectly/dp/B08X4HRQQL&sa=U&ved=2ahUKEwi6suTk3_ODAxWNqZUCHToXDMkQqoUBegQICBAB&usg=AOvVaw0sGY22JL_Z1oVPkKfuOY-T",
        "image": "https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcROtE0idmQWj_8Mt5JJoiLUFyJRSU7VANreAOFSijiLH9HsB4H3IWw8j_SxtA&s",
        "title": "Amazon.com: Ravensburger...",
        "domain": "www.amazon.com",
        "pos_overall": 1
    },
...
]
...

Chave (results.organic)

Descrição

Tipo

pos

Um indicador exclusivo que indica a posição da imagem na lista.

cadeia de caracteres

link

A URL do site em que a imagem está inserida.

vetor

image

A URL da imagem.

vetor

title

O título do artigo em que a imagem está inserida.

objeto

domain

O domínio do site que contém o resultado da imagem.

vetor

pos_overall

Um indicador exclusivo que indica a posição da imagem na lista.

inteiro

Informações de pesquisa

informações de pesquisa é uma seção que fornece detalhes sobre a consulta de pesquisa. Ela inclui informações como o termo de pesquisa original e, se aplicável, quaisquer autocorreções feitas pelo Google.

...
"search_information": {
    "query": "unicorn",
    "showing_results_for": "unicorn"
},
...

Chave (results.search_information)

Descrição

Tipo

query

O termo de pesquisa original.

cadeia de caracteres

showing_results_for

O termo de pesquisa para o qual os resultados são exibidos. query e showing_results_for pode diferir se o Google tiver corrigido automaticamente o termo de pesquisa fornecido.

vetor

Pesquisas sugeridas

A suggested_searches (vetor) na Pesquisa de Imagens do Google fornece uma lista de termos de pesquisa sugeridos relacionados à consulta original. Os usuários podem explorar essas opções adicionais de pesquisa para refinar ou expandir sua pesquisa de imagens.

...
"suggested_searches": [
    "cute",
    "rainbow",
    "drawing",
    "glitter",
    "wallpaper",
    "galaxy",
    "kawaii",
    "easy",
    "clipart",
    "transparent"
]
...

AnteriorBusca na Web

PróximoBusca de notícias

Atualizado há 20 dias

Isto foi útil?