Scholar

O raspador do Google Scholar permite enviar consultas de busca e receber dados estruturados e parseados, incluindo artigos, livros, citações e links relacionados.

O google_scholar A fonte de dados foi projetada para recuperar resultados de pesquisa do Google Scholar, incluindo artigos acadêmicos, livros, citações e links relacionados.

Exemplos de requisição

Neste exemplo, fazemos uma requisição para recuperar resultados do Google Scholar para a consulta melhores romances.

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \\
--user 'USERNAME:PASSWORD' \\
-H 'Content-Type: application/json' \\
-d '{
        "source": "google_scholar",
        "query": "best novels",
        "render": "html",
        "parse": true
    }'

Python

import requests
from pprint import pprint

# Structure payload.
payload = {
  "source": "google_scholar",
  "query": "best novels",
  "render": "html",
  "parse": True
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_scholar",
    query: "best novels",
    render: "html",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

https://realtime.oxylabs.io/v1/queries?source=google_scholar&query=best+novels&render=html&parse=true&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'google_scholar',
    'query' => 'best novels',
    'render' => 'html',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");


$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_scholar",
		"query":  "best novels",
		"render": "html",
		"parse":  true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_scholar",
                query = "best novels",
                render = "html",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_scholar");
        jsonObject.put("query", "best novels");
        jsonObject.put("render", "html");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "google_scholar",
    "query": "best novels",
    "render": "html",
    "parse": true
}

Usamos o método de integração síncrona Realtime método de integração em nossos exemplos. Se você quiser usar Proxy Endpoint ou integração assíncrona Push-Pull de integração, consulte a métodos de integração seção.

Parâmetros da requisição

Parâmetro	Descrição	Valor padrão
source	Define o scraper. Use google_scholar.	–
query	Termo de busca da requisição.	–
render	Ativa a renderização de JavaScript quando definido como html. Mais informações.	–
parse	Retorna os dados analisados quando definido como true. Veja mais em dicionário de saída.	false
callback_url	URL para seu endpoint de callback. Mais informações.	–
user_agent_type	Tipo de dispositivo e navegador. A lista completa pode ser encontrada aqui.	desktop

– parâmetro obrigatório

Dados estruturados

Web Scraper API pode extrair resultados em HTML ou uma resposta JSON que contém dados estruturados em vários elementos da página de resultados.

Saída estruturada de google_scholar

{
    "results": [
        {
            "content": {
                "organic": [
                    {
                        "description": "… and exciting as any other for the novel. The mass market paperback came into … book. Its purpose is to celebrate the writers we have loved best, and to proselytize on behalf of their novels…",
                        "inline_links": {
                            "cite_url": "https://scholar.google.com/scholar?q=info:Av0ZOt0npBEJ:scholar.google.com/&output=cite&scirp=0&hl=en",
                            "cited_by": {
                                "cites_id": "1271184825941359874",
                                "total": 15,
                                "url": "https://scholar.google.com/scholar?cites=1271184825941359874&as_sdt=2005&sciodt=0,5&hl=en"
                            },
                            "related_pages_url": "https://scholar.google.com/scholar?q=related:Av0ZOt0npBEJ:scholar.google.com/&scioq=best+novels&hl=en&as_sdt=0,5",
                            "versions": {
                                "cluster_id": "1271184825941359874",
                                "total": 5,
                                "url": "https://scholar.google.com/scholar?cluster=1271184825941359874&hl=en&as_sdt=0,5"
                            }
                        },
                        "pos": 1,
                        "publication_info": {
                            "summary": "C Callil, C Tóibín - 2011 - books.google.com"
                        },
                        "result_id": "Av0ZOt0npBEJ",
                        "result_type": "book",
                        "title": "The Modern Library: The 200 Best Novels in English Since 1950",
                        "url": "https://books.google.com/books?hl=en&lr=&id=EwlNDwAAQBAJ&oi=fnd&pg=PA1903&dq=best+novels&ots=Uiru4xYAcj&sig=exuKH7sr8Y4rAx7cvn15h8lA39Y"
                    },
                    {
                        "description": "… Predicting success of novels and movies: To the best of our knowledge, our work is the first that provides quantitative insights into the unstudied connection between the writing style …",
                        "inline_links": {
                            "cite_url": "https://scholar.google.com/scholar?q=info:r_g8gsmjLJgJ:scholar.google.com/&output=cite&scirp=4&hl=en",
                            "cited_by": {
                                "cites_id": "10965319278609103023",
                                "total": 182,
                                "url": "https://scholar.google.com/scholar?cites=10965319278609103023&as_sdt=2005&sciodt=0,5&hl=en"
                            },
                            "related_pages_url": "https://scholar.google.com/scholar?q=related:r_g8gsmjLJgJ:scholar.google.com/&scioq=best+novels&hl=en&as_sdt=0,5",
                            "versions": {
                                "cluster_id": "10965319278609103023",
                                "total": 10,
                                "url": "https://scholar.google.com/scholar?cluster=10965319278609103023&hl=en&as_sdt=0,5"
                            }
                        },
                        "pos": 5,
                        "publication_info": {
                            "authors": [
                                {
                                    "author_id": "Of8dNP0AAAAJ",
                                    "name": "VG Ashok",
                                    "url": "https://scholar.google.com/citations?user=Of8dNP0AAAAJ&hl=en&oi=sra"
                                },
                                {
                                    "author_id": "aWmHP7IAAAAJ",
                                    "name": "S Feng",
                                    "url": "https://scholar.google.com/citations?user=aWmHP7IAAAAJ&hl=en&oi=sra"
                                },
                                {
                                    "author_id": "vhP-tlcAAAAJ",
                                    "name": "Y Choi",
                                    "url": "https://scholar.google.com/citations?user=vhP-tlcAAAAJ&hl=en&oi=sra"
                                }
                            ],
                            "summary": "VG Ashok, S Feng, Y Choi - … of the 2013 conference on empirical …, 2013 - aclanthology.org"
                        },
                        "resources": [
                            {
                                "file_format": "PDF",
                                "title": "aclanthology.org",
                                "url": "https://aclanthology.org/D13-1181.pdf"
                            }
                        ],
                        "result_id": "r_g8gsmjLJgJ",
                        "result_type": "pdf",
                        "title": "Success with style: Using writing style to predict the success of novels",
                        "url": "https://aclanthology.org/D13-1181.pdf"
                    }
                    // ... up to 8 more organic results
                ],
                "pagination": {
                    "current_page": 1,
                    "next_page": "https://scholar.google.com/scholar?start=10&q=best+novels&hl=en&as_sdt=0,5",
                    "other_pages": {
                        "2": "https://scholar.google.com/scholar?start=10&q=best+novels&hl=en&as_sdt=0,5",
                        "3": "https://scholar.google.com/scholar?start=20&q=best+novels&hl=en&as_sdt=0,5"
                        // ... more page links
                    }
                },
                "parse_status_code": 12000,
                "related_searches": [
                    {
                        "query": "best novels modern library",
                        "url": "https://scholar.google.com/scholar?hl=en&as_sdt=0,5&qsp=1&q=best+novels+modern+library&qst=ib"
                    },
                    {
                        "query": "best novels short stories",
                        "url": "https://scholar.google.com/scholar?hl=en&as_sdt=0,5&qsp=2&q=best+novels+short+stories&qst=ib"
                    }
                    // ... more related searches
                ],
                "search_information": {
                    "query_displayed": "best novels",
                    "time_taken_displayed": 0.15,
                    "total_results_count": 3580000
                }
            },
            "created_at": "2026-07-18 14:00:27",
            "job_id": "7484245708602621953",
            "page": 1,
            "status_code": 200,
            "updated_at": "2026-07-18 14:00:40",
            "url": "https://scholar.google.com/scholar?q=best+novels&hl=en&gl=us"
        }
    ]
}

Dicionário de saída

A tabela abaixo apresenta uma lista detalhada de cada elemento de nível superior que analisamos, junto com sua descrição e tipo de dado.

O número de resultados orgânicos e certos campos pode variar dependendo da consulta de pesquisa e do tipo de resultado.

Chave	Descrição	Tipo
url	URL da página de resultados de pesquisa do Google Scholar.	string
page	Número da página atual dos resultados de pesquisa.	integer
parse_status_code	O código de status do trabalho de análise. Saiba mais aqui.	integer
organic	Lista de resultados orgânicos. Inclui pos, title, url, description, id_do_resultado, tipo_do_resultado, informações_da_publicação, links_embutidos, recursos.	array
organic.tipo_do_resultado	Identifica o formato do resultado (livro, PDF, etc.). Omitido quando o resultado é um artigo padrão.	string
organic.informações_da_publicação	Resumo da publicação. Inclui resumo (autores, ano, editora/fonte como uma única string) e, quando disponível, uma estrutura autores lista com id_do_autor, nome, e perfil url.	objeto
organic.links_embutidos	Metadados acadêmicos anexados ao resultado. Inclui url_de_citação, citado_por, url_de_páginas_relacionadas, versões.	objeto
organic.links_embutidos.citado_por	Dados de citação do resultado. Inclui id_de_citação, total (contagem total de citações), e url (link para trabalhos que citam).	objeto
organic.links_embutidos.url_de_páginas_relacionadas	URL para encontrar artigos relacionados ao resultado.	string
organic.links_embutidos.versões	Versões/links alternativos para o mesmo documento. Inclui id_do_cluster, total, e url.	objeto
organic.recursos	Links diretos de download para mídias acessíveis, por exemplo, PDFs. Inclui formato_do_arquivo, title, url.	array
paginação	Detalhes sobre as páginas de resultados atuais e disponíveis. Inclui página_atual, próxima_página, outras_páginas.	objeto
pesquisas_relacionadas	Strings de pesquisa relacionadas sugeridas pelo Google. Inclui query e url para cada sugestão.	array
informações_da_pesquisa	Detalhes gerais sobre a pesquisa. Inclui consulta_exibida, tempo_gasto_exibido, contagem_total_de_resultados.	objeto
criado_em	Carimbo de data/hora em que o trabalho de scraping foi criado.	carimbo_de_data_hora
atualizado_em	Carimbo de data/hora em que o trabalho de scraping foi concluído.	carimbo_de_data_hora
id_do_trabalho	ID do trabalho associado ao trabalho de scraping.	string
código_de_status	Código de status do trabalho de scraping. Saiba mais aqui.	integer