Scholar

O scraper do Google Scholar permite que você envie consultas de busca e receba dados estruturados e analisados, incluindo artigos, livros, citações e links relacionados.

O google_scholar a fonte de dados foi projetada para recuperar resultados de pesquisa do Google Scholar, incluindo artigos acadêmicos, livros, citações e links relacionados.

Exemplos de requisição

Neste exemplo, fazemos uma requisição para recuperar resultados do Google Scholar para a consulta melhores romances.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_scholar",
        "query": "best novels",
        "render": "html",
        "parse": true
    }'

import requests
from pprint import pprint

# Estrutura o payload.
payload = {
  "source": "google_scholar",
  "query": "best novels",
  "render": "html",
  "parse": True
}

# Obtém a resposta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Imprime a resposta formatada em stdout.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_scholar",
    query: "best novels",
    render: "html",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Erro:", error);
});

request.write(JSON.stringify(body));
request.end();

https://realtime.oxylabs.io/v1/queries?source=google_scholar&query=best+novels&render=html&parse=true&access_token=12345abcde

<?php

$params = array(
    'source' => 'google_scholar',
    'query' => 'best novels',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Erro:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_scholar",
		"query":  "best novels",
		"render": "html",
		"parse":  true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_scholar",
                query = "best novels",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_scholar");
        jsonObject.put("query", "best novels");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Erro: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

{
    "source": "google_scholar",
    "query": "best novels",
    "render": "html",
    "parse": true
}

Usamos o método de integração síncrono Realtime em nossos exemplos. Se você quiser usar Proxy Endpoint ou a integração assíncrona Push-Pull , consulte a seção de métodos de integração .

Parâmetros da requisição

Parâmetro

Descrição

Valor padrão

source

Define o scraper. Use google_scholar.

–

query

Termo de busca para a requisição.

–

render

Ativa a renderização de JavaScript quando definido como html. Mais informações.

–

parse

Retorna dados parseados quando definido como true. Veja mais em dicionário de saída.

false

callback_url

URL para seu endpoint de callback. Mais informações.

–

user_agent_type

Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.

desktop

– parâmetro obrigatório

Dados estruturados

Web Scraper API pode extrair resultados em resposta HTML ou JSON que contém dados estruturados em vários elementos da página de resultados.

Saída estruturada de google_scholar

{
    "results": [
        {
            "content": {
                "organic": [
                    {
                        "description": "… e tão empolgante quanto qualquer outro para o romance. O livro de bolso de mercado de massa veio para… livro. Seu propósito é celebrar os escritores que mais amamos e divulgar seus romances…",
                        "inline_links": {
                            "cite_url": "https://scholar.google.com/scholar?q=info:Av0ZOt0npBEJ:scholar.google.com/&output=cite&scirp=0&hl=en",
                            "cited_by": {
                                "cites_id": "1271184825941359874",
                                "total": 15,
                                "url": "https://scholar.google.com/scholar?cites=1271184825941359874&as_sdt=2005&sciodt=0,5&hl=en"
                            },
                            "related_pages_url": "https://scholar.google.com/scholar?q=related:Av0ZOt0npBEJ:scholar.google.com/&scioq=best+novels&hl=en&as_sdt=0,5",
                            "versions": {
                                "cluster_id": "1271184825941359874",
                                "total": 5,
                                "url": "https://scholar.google.com/scholar?cluster=1271184825941359874&hl=en&as_sdt=0,5"
                            }
                        },
                        "pos": 1,
                        "publication_info": {
                            "summary": "C Callil, C Tóibín - 2011 - books.google.com"
                        },
                        "result_id": "Av0ZOt0npBEJ",
                        "result_type": "book",
                        "title": "The Modern Library: The 200 Best Novels in English Since 1950",
                        "url": "https://books.google.com/books?hl=en&lr=&id=EwlNDwAAQBAJ&oi=fnd&pg=PA1903&dq=best+novels&ots=Uiru4xYAcj&sig=exuKH7sr8Y4rAx7cvn15h8lA39Y"
                    },
                    {
                        "description": "… Prevendo o sucesso de romances e filmes: até onde sabemos, nosso trabalho é o primeiro que fornece insights quantitativos sobre a conexão ainda não estudada entre o estilo de escrita …",
                        "inline_links": {
                            "cite_url": "https://scholar.google.com/scholar?q=info:r_g8gsmjLJgJ:scholar.google.com/&output=cite&scirp=4&hl=en",
                            "cited_by": {
                                "cites_id": "10965319278609103023",
                                "total": 182,
                                "url": "https://scholar.google.com/scholar?cites=10965319278609103023&as_sdt=2005&sciodt=0,5&hl=en"
                            },
                            "related_pages_url": "https://scholar.google.com/scholar?q=related:r_g8gsmjLJgJ:scholar.google.com/&scioq=best+novels&hl=en&as_sdt=0,5",
                            "versions": {
                                "cluster_id": "10965319278609103023",
                                "total": 10,
                                "url": "https://scholar.google.com/scholar?cluster=10965319278609103023&hl=en&as_sdt=0,5"
                            }
                        },
                        "pos": 5,
                        "publication_info": {
                            "authors": [
                                {
                                    "author_id": "Of8dNP0AAAAJ",
                                    "name": "VG Ashok",
                                    "url": "https://scholar.google.com/citations?user=Of8dNP0AAAAJ&hl=en&oi=sra"
                                },
                                {
                                    "author_id": "aWmHP7IAAAAJ",
                                    "name": "S Feng",
                                    "url": "https://scholar.google.com/citations?user=aWmHP7IAAAAJ&hl=en&oi=sra"
                                },
                                {
                                    "author_id": "vhP-tlcAAAAJ",
                                    "name": "Y Choi",
                                    "url": "https://scholar.google.com/citations?user=vhP-tlcAAAAJ&hl=en&oi=sra"
                                }
                            ],
                            "summary": "VG Ashok, S Feng, Y Choi - … of the 2013 conference on empirical …, 2013 - aclanthology.org"
                        },
                        "resources": [
                            {
                                "file_format": "PDF",
                                "title": "aclanthology.org",
                                "url": "https://aclanthology.org/D13-1181.pdf"
                            }
                        ],
                        "result_id": "r_g8gsmjLJgJ",
                        "result_type": "pdf",
                        "title": "Success with style: Using writing style to predict the success of novels",
                        "url": "https://aclanthology.org/D13-1181.pdf"
                    }
                    // ... até 8 resultados orgânicos adicionais
                ],
                "pagination": {
                    "current_page": 1,
                    "next_page": "https://scholar.google.com/scholar?start=10&q=best+novels&hl=en&as_sdt=0,5",
                    "other_pages": {
                        "2": "https://scholar.google.com/scholar?start=10&q=best+novels&hl=en&as_sdt=0,5",
                        "3": "https://scholar.google.com/scholar?start=20&q=best+novels&hl=en&as_sdt=0,5"
                        // ... mais links de página
                    }
                },
                "parse_status_code": 12000,
                "related_searches": [
                    {
                        "query": "melhores romances biblioteca moderna",
                        "url": "https://scholar.google.com/scholar?hl=en&as_sdt=0,5&qsp=1&q=best+novels+modern+library&qst=ib"
                    },
                    {
                        "query": "melhores romances contos",
                        "url": "https://scholar.google.com/scholar?hl=en&as_sdt=0,5&qsp=2&q=best+novels+short+stories&qst=ib"
                    }
                    // ... mais pesquisas relacionadas
                ],
                "search_information": {
                    "query_displayed": "melhores romances",
                    "time_taken_displayed": 0.15,
                    "total_results_count": 3580000
                }
            },
            "created_at": "2026-07-18 14:00:27",
            "job_id": "7484245708602621953",
            "page": 1,
            "status_code": 200,
            "updated_at": "2026-07-18 14:00:40",
            "url": "https://scholar.google.com/scholar?q=best+novels&hl=en&gl=us"
        }
    ]
}

Dicionário de saída

A tabela abaixo apresenta uma lista detalhada de cada elemento de nível superior que analisamos, juntamente com sua descrição e tipo de dado.

O número de resultados orgânicos e alguns campos podem variar dependendo da consulta de pesquisa e do tipo de resultado.

Chave

Descrição

Tipo

url

URL para a página de resultados da pesquisa do Google Scholar.

cadeia de caracteres

page

Número da página atual dos resultados da pesquisa.

inteiro

parse_status_code

O código de status do trabalho de parsing. Saiba mais aqui.

inteiro

organic

Lista de resultados orgânicos. Inclui pos, title, url, description, ID do resultado, Tipo do resultado, Informações da publicação, Links embutidos, Recursos.

vetor

organic.tipo_do_resultado

Identifica o formato do resultado (livro, PDF, etc.). Omitido quando o resultado é um artigo padrão.

cadeia de caracteres

organic.informações_da_publicação

Resumo da publicação. Inclui resumo (authors, ano, editora/fonte como uma única string) e, quando disponível, uma lista estruturada de autores lista com ID do autor, nome, e perfil url.

objeto

organic.links_embutidos

Metadados acadêmicos anexados ao resultado. Inclui URL de citação, citado_por, URL de páginas relacionadas, versões.

objeto

organic.links_embutidos.citado_por

Dados de citação do resultado. Inclui ID das citações, total (contagem total de citações), e url (link para trabalhos que citam).

objeto

organic.links_embutidos.url_de_páginas_relacionadas

URL para encontrar artigos relacionados ao resultado.

cadeia de caracteres

organic.links_embutidos.versões

Versões/links alternativos para o mesmo documento. Inclui ID do cluster, total, e url.

objeto

organic.recursos

Links diretos para mídias acessíveis para download, por exemplo, PDFs. Inclui formato_do_arquivo, title, url.

vetor

paginação

Detalhes sobre a página atual e as páginas de resultados disponíveis. Inclui página_atual, próxima_página, outras_páginas.

objeto

pesquisas_relacionadas

Strings de busca relacionadas sugeridas pelo Google. Inclui query e url para cada sugestão.

vetor

informações_da_pesquisa

Detalhes gerais sobre a pesquisa. Inclui consulta_exibida, tempo_gasto_exibido, contagem_total_de_resultados.

objeto

criado_em

Carimbo de data/hora em que o trabalho de scraping foi criado.

carimbo_de_data_hora

atualizado_em

Carimbo de data/hora em que o trabalho de scraping foi concluído.

carimbo_de_data_hora

ID do trabalho

ID do trabalho associado ao trabalho de scraping.

cadeia de caracteres

código_de_status

Código de status do trabalho de scraping. Saiba mais aqui.

inteiro

AnteriorProduto de compras PróximoTrends: Explorar

Atualizado há 22 dias

Isto foi útil?