URL

Consulta cómo puedes comenzar a raspar URLs de Bing.

El bing source está diseñado para recuperar el contenido de URLs directas de varias páginas de Bing. En lugar de enviar múltiples parámetros, puedes proporcionarnos una URL directa de la página de Bing requerida. No eliminamos ningún parámetro ni alteramos tus URLs de ninguna otra manera.

Ejemplos de solicitudes

En este ejemplo, realizamos una solicitud para recuperar un resultado para la URL proporcionada.

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "bing",
        "url": "https://www.bing.com/search?q=nike"
    }'

import requests
from pprint import pprint

# Estructurar la carga útil.
payload = {
    'source': 'bing',
    'url': 'https://www.bing.com/search?q=nike'
}

# Obtener respuesta.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# En lugar de una respuesta con el estado del trabajo y la URL de resultados, esto devolverá el
# JSON response with results.
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "bing",
    query: "https://www.bing.com/search?q=nike",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

# URL has to be encoded to escape `&` and `=` characters:
# URL: https://bing.com/search/?text=nike&
# Encoded URL: https%3A%2F%2Fbing.com%2Fsearch%2F%3Ftext%3Dnike%26

https://realtime.oxylabs.io/v1/queries?source=bing&url=https%3A%2F%2Fwww.bing.com%2Fsearch%3Fq%3Dnike&access_token=12345abcde

<?php

$params = array(
    'source' => 'bing',
    'url' => 'https://www.bing.com/search?q=nike'
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "bing",
		"url":    "https://www.bing.com/search?q=nike",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "bing",
                url = "https://www.bing.com/search?q=nike"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "bing");
        jsonObject.put("url", "https://www.bing.com/search?q=nike");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

Ejemplo de salida

{
    "results": [
        {
            "content": "<!DOCTYPE html>
            CONTENIDO
            </html>",
            "created_at": "2024-07-01 08:46:47",
            "updated_at": "2024-07-01 08:46:48",
            "page": 1,
            "url": "https://www.bing.com/search?q=nike",
            "job_id": "7213463035497697281",
            "status_code": 200
        }
    ]
}

Usamos el método de integración Realtime síncrono en nuestros ejemplos. Si deseas usar Proxy Endpoint o la integración Push-Pull asíncrona, consulta la métodos de integración sección.

Valores de los parámetros de la solicitud

Parámetro

Descripción

Valor predeterminado

source

Establece el scraper.

bing

url

URL directa (enlace) a la página de Bing

render

Activa el renderizado de JavaScript cuando se establece en html. Más información.

parse

Devuelve datos parseados cuando se establece en true. Limitado a URLs de tipos específicos de páginas de Bing.

callback_url

URL de tu endpoint de callback. Más información.

user_agent_type

Tipo de dispositivo y navegador. La lista completa se puede encontrar aquí.

desktop

geo_location

Especifica la ubicación para los resultados de búsqueda. Admite formatos de ciudad, estado, país o coordenadas. Leer más.

- parámetro obligatorio

AnteriorBúsqueda SiguienteChatGPT

Última actualización hace 4 horas

¿Te fue útil?

Buenas tardes

hashtagEjemplos de solicitudes

hashtagValores de los parámetros de la solicitud

Ejemplos de solicitudes

Valores de los parámetros de la solicitud