搜索

了解如何使用 Web Scraper API 抓取 Bing 搜索结果。

该 bing_search source 旨在检索 Bing Search 结果页面 (SERPs)。

要抓取 AI 生成的搜索结果 来自 Bing，请使用 render 参数。

请求示例

在下面的示例中，我们发出请求以检索搜索词的 Bing 搜索结果 adidas。搜索将从第 11 页开始并检索 10 页结果，结果将以结构化格式返回。

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "bing_search",
        "domain": "com",
        "query": "adidas",
        "start_page": 11,
        "pages": 10,
        "callback_url": "https://your.callback.url",
        "parse": true
    }'

import requests
from pprint import pprint

# 构建负载。
payload = {
    'source': 'bing_search',
    'domain': 'com',
    'query': 'adidas',
    'start_page': 11,
    'pages': 10,
    'callback_url': 'https://your.callback.url',
    'parse': True
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 将美化后的响应打印到标准输出。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "bing_search",
    domain: "com",
    query: "adidas",
    start_page: 11,
    pages: 10,
    callback_url: "https://your.callback.url",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'bing_search',
    'domain' => 'com',
    'query' => 'adidas',
    'start_page' => 11,
    'pages' => 10,
    'callback_url' => 'https://your.callback.url',
    'parse' => true
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "bing_search",
		"domain":       "com",
		"query":        "adidas",
		"start_page":   11,
		"pages":        10,
		"callback_url": "https://your.callback.url",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "bing_search",
                domain = "com",
                query = "adidas",
                start_page = 11,
                pages = 10,
                callback_url = "https://your.callback.url",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "bing_search");
        jsonObject.put("domain", "com");
        jsonObject.put("query", "adidas");
        jsonObject.put("start_page", 11);
        jsonObject.put("pages", 10);
        jsonObject.put("callback_url", "https://your.callback.url");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

在下面的示例中，我们发送请求以检索针对搜索词的 AI 生成的 Bing 搜索结果： best seo tools.

{
    "source": "bing_search", 
    "query": "best seo tools", 
    "render": "html"
}

请求参数值

通用

Bing 搜索抓取的基本设置和自定义选项。

参数

说明

默认值

source

设置要使用的爬虫。

bing_search

query

要搜索的关键字或短语。

render

设置为时启用 JavaScript 渲染 html. 更多信息.

parse

设置为时返回解析数据 true。探索输出 数据字典.

false

callback_url

您的回调端点的 URL。 更多信息.

user_agent_type

设备类型和浏览器。完整列表可在此处.

desktop

- 强制参数

本地化

将搜索结果适配到特定的地理位置、域名和语言。

参数

说明

默认值

geo_location

指定搜索结果的地理位置。支持城市、州、国家或坐标格式。 阅读更多.

domain

将结果本地化到特定国家。有效值： com, ru, ua, by, kz, tr.

com

locale

Accept-Language 更改 Bing 搜索页面网络界面语言的 header 值。 更多信息.

分页

用于管理搜索结果分页和检索的控制。

参数

说明

默认值

start_page

起始页码。

1

pages

要检索的页面数量。

1

limit

每页要检索的结果数量。

10

结构化数据

SERP 爬虫 API 能够提取包含 Bing 搜索结果的 HTML 或 JSON 对象，提供关于结果页面各种元素的结构化数据。

9KB

Bing.json

打开

输出数据字典

HTML 示例

JSON 结构

下表列出了我们解析的每个 SERP 特性的详细列表，以及其描述和数据类型。表中还包含一些元数据。

键

说明

类型

url

Bing 搜索页面的 URL。

字符串

page

当前页码。

整数

results

包含搜索结果的字典。

对象

paid （可选）

包含相应详情的赞助结果列表。

数组

organic

包含相应详情的自然（非付费）列表。

数组

parse_status_code

解析作业的状态码。您可以在此处查看解析器状态码说明此处.

整数

created_at

抓取作业创建的时间戳。

timestamp

updated_at

抓取作业完成的时间戳。

timestamp

status_code

抓取作业的状态码。您可以在此处查看爬虫状态码说明此处.

整数

job_id

与抓取作业关联的作业 ID。

字符串

在下列部分，当结果类型存在多个项时，解析后的 JSON 代码片段会被缩短。

付费

...
  "paid": [
    {
        "pos": 1,
        "url": "https://www.bing.com/aclick?ld=e8TB2-TOVbuwbSri4984NcRjVUCUyQghxnzejHV59xXn6r9lgz7ciPH0EL82ftdUCMBGEyAqiFGOiPXPkAOfdD7Y-Xpb6_pZlMPNZ2x6tTn4WAr8KA0oPNQYW031wP0d8g-pQsdx7BmXEN9ZojHVTY7Jznw7BafmzDSQCtL-MgYN9BRUmeBp74Eo3wYCJfbPIT_cWI2g&u=aHR0cCUzYSUyZiUyZnd3dy5yZW1pc2VzZW5saWduZS5mciUyZmJhc2tldC1uaWtlLWpvcmRhbiUzZnRhcmdldGlkJTNka3dkLTg1MTQ0NzUwMTM5NzExJTI2bWF0Y2h0eXBlJTNkcCUyNmRldmljZSUzZGMlMjZjYW1wYWlnbmlkJTNkNTMxMzY2ODQ3JTI2Y3JlYXRpdmUlM2QlMjZhZGdyb3VwaWQlM2QxMzYyMjk3NDM4ODkzNDg1JTI2ZmVlZGl0ZW1pZCUzZCUyNmxvY19waHlzaWNhbF9tcyUzZDE0MzAyNyUyNmxvY19pbnRlcmVzdF9tcyUzZCUyNm5ldHdvcmslM2RvJTI2ZGV2aWNlbW9kZWwlM2QlMjZwbGFjZW1lbnQlM2QlMjZrZXl3b3JkJTNkJTI0YmFza2V0JTI1MjBuaWtlJTI1MjBqb3JkYW4lMjZ0YXJnZXQlM2QlMjZhZHBvc2l0aW9uJTNkJTI2dHJhY2tpZCUzZGZyX2FsbF9kZWFsc18yX2JpbmclMjZtSWQlM2RIMTQ5MDAzQ1FOJTI2bXNjbGtpZCUzZDc5NjY4ODI4MDQ0ODE2NjVjNTJmZWU0MTc4Yjk1NWJm&rlid=7966882804481665c52fee4178b955bf",
        "desc": "Neue Releases, Retro-Klassiker & zeitlose Ikonen. Entdecke Air Jordan bei Nike. Meistere das Spiel und erlebe Tradition neu mit Air Jordan von Nike.",
        "title": "Offizielle Air Jordan Webseite | Shoppe Nike Jumpman-Produkte",
        "url_shown": "www.nike.com/air/jordan",
        "pos_overall": 11
    },
    {
        "pos": 2,
        "url": "https://www.bing.com/aclick?ld=e8OBM60EyxdN2Qxvp-arD9JzVUCUwier4bXHLFD_dsME5lB1Pg9YnfVggGJSi3ORhgEF-Gwzqx3PiuxHd6fxx0MXN6JKmkwjaGnD2ROEo6W3eTA9fAn8bfi9vpeZ8xEeTyyq8sKhHcKj58HK6h9JnOT7G7zLTYg6MFHaWaGo06uKP4G58bRvFt98DUBKhWj8fd_L867A&u=aHR0cHMlM2ElMmYlMmZ3d3cuYW1hem9uLmNvbSUyZnMlMmYlM2ZpZSUzZFVURjglMjZrZXl3b3JkcyUzZHdvbWVuJTI1MjdzJTJiYWlyJTJiam9yZGFuJTJicmV0cm8lMmIxJTJiZWxldmF0ZSUyYmxvdyUyYmNhc3VhbCUyYnNob2VzJTI2aW5kZXglM2RhcHMlMjZ0YWclM2RtaDBiLTIwJTI2cmVmJTNkcGRfc2xfM2ltOXJscjRkb19iJTI2YWRncnBpZCUzZDEzMzkyMDc1NjMwMTkxMTIlMjZodmFkaWQlM2Q4MzcwMDczNjAyNTQ5NiUyNmh2bmV0dyUzZG8lMjZodnFtdCUzZGIlMjZodmJtdCUzZGJiJTI2aHZkZXYlM2RjJTI2aHZsb2NpbnQlM2QlMjZodmxvY3BoeSUzZDE0MzAyNyUyNmh2dGFyZ2lkJTNka3dkLTgzNzAxNTIzNzAwNjc0JTI2aHlkYWRjciUzZDgwNDJfMTM0Njc2MjQlMjZtc2Nsa2lkJTNkMTg4YzJhMmJhNzg0MWE2MWExY2M0YzQyZGI3NWJhMTU&rlid=188c2a2ba7841a61a1cc4c42db75ba15",
        "desc": "Sneakers und Mehr bei Foot Locker Online. Premium Kollektionen und Bekleidung!",
        "title": "Jordan - Foot Locker Germany | Foot Locker Germany",
        "url_shown": "www.footlocker.de",
        "pos_overall": 12
    }
],
...

Key (paid)

说明

类型

pos

广告在付费广告列表中的位置。

整数

url

付费广告的完整 URL。

字符串

desc

广告内容的简要描述或摘要。

字符串

title

广告的主要标题或题目。

字符串

url_shown

向用户显示的简化 URL。

字符串

pos_overall

该广告在所有搜索结果中的排名，包括付费和自然列表。

整数

自然

...
"organic": [
    {
        "pos": 1,
        "url": "https://www.bing.com/ck/a?!&&p=dfe8ec2f6aa2c9deJmltdHM9MTcxODU4MjQwMCZpZ3VpZD0wNzdiZTI5My05ZWM4LTZkNWYtMDE0Ni1mNjMyOWZmMzZjMDEmaW5zaWQ9NTIwOA&ptn=3&ver=2&hsh=3&fclid=077be293-9ec8-6d5f-0146-f6329ff36c01&psq=nike+jordan+shoes&u=a1aHR0cHM6Ly93d3cubmlrZS5jb20vcGgvdy9qb3JkYW4tc2hvZXMtMzdlZWZ6eTdvaz9tc29ja2lkPTA3N2JlMjkzOWVjODZkNWYwMTQ2ZjYzMjlmZjM2YzAx&ntb=1",
        "desc": "WEBFind Jordan Shoes at Nike.com. Free delivery and returns on select orders.",
        "title": "Jordan Shoes. Nike PH",
        "url_shown": "https://www.nike.com/ph/w/jordan-shoes-37eefzy7ok",
        "pos_overall": 1
    },
...

Key (organic)

说明

类型

pos

该自然结果在自然搜索结果列表中的排名。

整数

url

自然搜索结果的完整 URL。

字符串

desc

自然搜索结果内容的简要描述或摘要。

字符串

title

自然搜索结果的主要标题或题目。

字符串

url_shown

向用户显示的简化 URL。

字符串

pos_overall

该自然结果在所有搜索结果中的排名，包括付费和自然列表。

整数

最后更新于4个月前

这有帮助吗？

下午好

请求示例

请求参数值

通用

本地化

分页

结构化数据

输出数据字典

HTML 示例

JSON 结构

付费

自然