构建请求

阅读有关如何开始并使用以下内容发出请求的详细指南 网页爬虫API 针对不同网站。

搜索引擎

快速开始

选择您想要抓取的搜索引擎： Google, Bing, 其他搜索引擎.

请求示例

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "google_search",
        "query": "adidas"
    }'

import requests
from pprint import pprint

# 构建负载（payload）。
payload = {
    'source': 'google_search',
    'query': 'adidas',
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 将美化后的响应打印到标准输出。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "google_search",
    query: "adidas",
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'google_search',
    'query' => 'adidas',
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "google_search",
                query = "adidas",
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "google_search",
		"query":  "adidas",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "google_search");
        jsonObject.put("query", "adidas");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

在我们的示例中，我们使用同步的 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步的 Push-Pull 集成，请参阅 集成方法 部分。

构建请求

选择您的集成方式：同步（Realtime, Proxy Endpoint）或异步（Push-Pull).
在构建请求时，包含以下要素：

端点：

POST https://realtime.oxylabs.io/v1/queries

用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

内容类型。提交作业时，请始终添加此标头：

Content-Type: application/json

有效载荷：
1. source - 此参数设置将用于处理您的请求的爬虫。
2. URL 或 query - 提供 URL 或 query 以指定您想要抓取页面的类型。请参阅下表及相应的目标子页面，了解何时使用每个参数的详细指南。
3. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse, render 等等，以自定义您的抓取请求。

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

端点：

GET realtime.oxylabs.io:60000

忽略证书。 在 cURL，它是 -k 或 --insecure.
用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

有效载荷：
1. URL - 提供 URL 针对您要抓取的页面。
2. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse，并将它们作为标头发送。

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.google.com/search?q=adidas' \
-H "x-oxylabs-geo-location: California,United States" \
-H "x-oxylabs-parse: 1"

端点：

POST https://data.oxylabs.io/v1/queries

用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

内容类型。提交作业时，请始终添加此标头：

Content-Type: application/json

有效载荷：
1. source - 此参数设置将用于处理您的请求的爬虫。
2. URL 或 query - 提供 URL 或 query 以指定您想要抓取页面的类型。请参阅下表及相应的目标子页面，了解何时使用每个参数的详细指南。
3. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse，等等，以自定义您的抓取请求。

{
    "source": "google_search",
    "query": "adidas",
    "geo_location": "California,United States",
    "parse": true
}

提交请求后，您将立即收到包含所有作业详细信息的 JSON 响应，其中包括作业参数、作业 ID 以及用于下载作业结果的 URL：

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=png

目标

来源（抓取 URL）

来源（使用 Query）

Google

google

google_search,

google_ads,

google_lens,

google_maps,

google_travel_hotels,

google_suggest,

google_trends_explore

Bing

bing

bing_search

其他搜索引擎

universal

使用 query 参数不受支持

电商平台

快速开始

选择您要抓取的在线市场： Amazon, Google Shopping, Walmart, Best Buy, Etsy, 目标, 其他网站.

请求示例

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

import requests
from pprint import pprint

# 构建负载（payload）。
payload = {
    'source': 'amazon_product',
    'query': 'B07FZ8S74R',
    'geo_location': '90210',
    'parse': True
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

# 将美化后的响应打印到标准输出。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "amazon_product",
    query: "B07FZ8S74R",
    geo_location: "90210",
    parse: true,
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'amazon_product',
    'query' => 'B07FZ8S74R',
    'geo_location' => '90210',
    'parse' => true,
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);
?>

using System;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "amazon_product",
                query = "B07FZ8S74R",
                geo_location = "90210",
                parse = true
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.Encoding.ASCII.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source":       "amazon_product",
		"query":        "B07FZ8S74R",
		"geo_location": "90210",
		"parse":        true,
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	request.Header.Set("Content-Type", "application/json")
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "amazon_product");
        jsonObject.put("query", "B07FZ8S74R");
        jsonObject.put("geo_location", "90210");
        jsonObject.put("parse", true);

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

在我们的示例中，我们使用同步的 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步的 Push-Pull 集成，请参阅 集成方法 部分。

构建请求

选择您的集成方式：同步（Realtime, Proxy Endpoint）或异步（Push-Pull).
在构建请求时，包含以下要素：

端点：

POST https://realtime.oxylabs.io/v1/queries

用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

内容类型。提交作业时，请始终添加此标头：

Content-Type: application/json

有效载荷：
1. source - 此参数设置将用于处理您的请求的爬虫。
2. URL 或 query - 提供 URL 或 query 以指定您想要抓取页面的类型。请参阅下表及相应的目标子页面，了解何时使用每个参数的详细指南。
3. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse, render 等等，以自定义您的抓取请求。

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

端点：

GET realtime.oxylabs.io:60000

忽略证书。 在 cURL，它是 -k 或 --insecure.
用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

有效载荷：
1. URL - 提供 URL 针对您要抓取的页面。
2. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse，并将它们作为标头发送。

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.amazon.com/dp/b07fz8s74r' \
-H "x-oxylabs-geo-location: 90210" \
-H "x-oxylabs-parse: 1"

端点：

POST https://data.oxylabs.io/v1/queries

用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

内容类型。提交作业时，请始终添加此标头：

Content-Type: application/json

有效载荷：
1. source - 此参数设置将用于处理您的请求的爬虫。
2. URL 或 query - 提供 URL 或 query 以指定您想要抓取页面的类型。请参阅下表及相应的目标子页面，了解何时使用每个参数的详细指南。
3. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse，等等，以自定义您的抓取请求。

{
    "source": "amazon_product",
    "query": "B07FZ8S74R",
    "geo_location": "90210",
    "parse": true
}

提交请求后，您将立即收到包含所有作业详细信息的 JSON 响应，其中包括作业参数、作业 ID 以及用于下载作业结果的 URL：

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

目标

来源（抓取 URL）

来源（使用 Query）

Amazon

amazon

amazon_product,

amazon_search,

amazon_pricing,

amazon_sellers,

amazon_bestsellers,

amazon_questions

Google Shopping

google

google_shopping_product,

google_shopping_search,

google_shopping_pricing

Walmart Best Buy Etsy 目标 其他网站

universal

使用 query 参数不受支持

其他网站

快速开始

使用我们的任意 URL 抓取 universal 源。您也可以添加 附加参数.

请求示例

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://sandbox.oxylabs.io/"
    }'

import requests
from pprint import pprint


# 构建负载（payload）。
payload = {
    'source': 'universal',
    'url': 'https://sandbox.oxylabs.io/',
    # 'render': 'html', # 如果页面类型需要
}

# 获取响应。
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'), # 在此处填写您的凭据
    json=payload,
)

# 与返回作业状态和结果 URL 的响应不同，此调用将直接返回
# 带有结果的 JSON 响应。
pprint(response.json())

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://sandbox.oxylabs.io/",
    // 'render': 'html' // 如果页面类型需要
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization: "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://sandbox.oxylabs.io/',
    // 'render' => 'html' // 如果页面类型需要
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url":    "https://sandbox.oxylabs.io/",
		// "render": "html" // 如果页面类型需要
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://sandbox.oxylabs.io/",
                // render = "html", // 如果页面类型需要
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://sandbox.oxylabs.io/");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

在我们的示例中，我们使用同步的 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步的 Push-Pull 集成，请参阅 集成方法 部分。

构建请求

选择您的集成方式：同步（Realtime, Proxy Endpoint）或异步（Push-Pull).
在构建请求时，包含以下要素：

端点：

POST https://realtime.oxylabs.io/v1/queries

用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

内容类型。提交作业时，请始终添加此标头：

Content-Type: application/json

有效载荷.
1. source - 此参数设置将用于处理您的请求的爬虫。
2. URL - 提供 URL 您想抓取的目标的示例，例如：
  1. 房地产： Idealista、Redfin、Zillow、Zoopla
  2. 旅行： Airbnb、Agoda、Booking、TripAdvisor
  3. 汽车行业： Crunchbase、ZoomInfo、AngelList、Product Hunt
  4. 公司数据： Netflix、SoundCloud、YouTube、IMDb
  5. 娱乐： AutoEurope、Autotrader、RockAuto、Halfords
  6. 任何其他.
3. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type，等等，以自定义您的抓取请求。
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```

端点：

GET realtime.oxylabs.io:60000

忽略证书。 在 cURL，它是 -k 或 --insecure.
用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

有效载荷：
1. URL - 提供 URL 针对您要抓取的页面，例如：
  1. 房地产： Idealista、Redfin、Zillow、Zoopla
  2. 旅行： Airbnb、Agoda、Booking、TripAdvisor
  3. 汽车行业： Crunchbase、ZoomInfo、AngelList、Product Hunt
  4. 公司数据： Netflix、SoundCloud、YouTube、IMDb
  5. 娱乐： AutoEurope、Autotrader、RockAuto、Halfords
  6. 任何其他.
2. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type，并将它们作为标头发送。

curl -k -x realtime.oxylabs.io:60000 \
-U "USERNAME:PASSWORD" \
'https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/'

端点：

POST https://data.oxylabs.io/v1/queries

用户名和密码 (HTTP 身份验证). 在您的 试用注册或产品购买期间创建 API 用户凭据.

USERNAME:PASSWORD

如果您的账户需要不止一个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

内容类型。提交作业时，请始终添加此标头：

Content-Type: application/json

有效载荷.
1. source - 此参数设置将用于处理您的请求的爬虫。
2. URL - 提供 URL 您想抓取的目标的示例，例如：
  1. 房地产： Idealista、Redfin、Zillow、Zoopla
  2. 旅行： Airbnb、Agoda、Booking、TripAdvisor
  3. 汽车行业： Crunchbase、ZoomInfo、AngelList、Product Hunt
  4. 公司数据： Netflix、SoundCloud、YouTube、IMDb
  5. 娱乐： AutoEurope、Autotrader、RockAuto、Halfords
  6. 任何其他.
3. 其他参数：可选地，您可以包含其他参数，例如 geo_location, user_agent_type，等等，以自定义您的抓取请求。
```
{
    "source": "universal",
    "url": "https://www.zillow.com/homedetails/10066-Cielo-Dr-Beverly-Hills-CA-90210/243990393_zpid/"
}
```
提交请求后，您将立即收到包含所有作业详细信息的 JSON 响应，其中包括作业参数、作业 ID 以及用于下载作业结果的 URL：

GET https://data.oxylabs.io/v1/queries/{job_id}/results

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=raw

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=parsed

GET https://data.oxylabs.io/v1/queries/{job_id}/results?type=pn

如果您在发出第一次请求时需要任何帮助，欢迎通过24/7在线客服与我们联系。

此处提供的所有信息均按“原样”提供，仅供参考。对于您使用本页所含任何信息，我们不做任何陈述并且否认一切责任。在进行任何形式的抓取活动之前，您应咨询法律顾问并仔细阅读相关网站的服务条款或获得抓取许可。

最后更新于3个月前

这有帮助吗？

下午好

搜索引擎

快速开始

请求示例

构建请求

电商平台

快速开始

请求示例

构建请求

其他网站

快速开始

请求示例

构建请求