我们可以在 Google Shopping 上抓取和解析各种页面类型。您可以向我们提供一个完整的 URL 或通过专门建立的数据源提供一些输入参数(如搜索 ,产品 ,产品定价 ) ,以便我们可以在末端形成 URL。
总览
以下概述我们通过 Google Shopping 支持的所有可用数据源
值。
来源 描述 结构化数据 提交您喜欢的任意 Google Shopping 网址。
您可以通过选择菜单右侧的名称跳转到您喜欢的 Google Shopping 页面类型。每个页面都包含参数表以及代码示例,可帮助您开始查询。
URL
google
源设计用于检索各种 Google Shopping 网址中的内容。与其发送多个参数,您可以向我们提供转到所需 Google Shopping 页面的直接 URL。我们不会剥离任何参数或以任何其他方式更改您的 URL。
这个数据源也支持解析数据(JSON 格式的结构化数据),只要提交的 URL 链接到一个我们可以解析的页面。
查询参数
参数 描述 默认值 结果应适应的地理位置。正确使用这个参数对获得正确数据极为重要。欲了解更多信息,请在此处
阅读我们建议的 geo_location
参数结构。
true
将返回解析数据,只要提交的 URL 用于 Google 搜索。
- 必须提供的参数
代码示例
在这个示例中,我们提出了一个请求来检索关键字 adidas
的 Google Shopping 搜索结果,如美国纽约所示。
JSON cURL Python PHP HTTP
Copy {
"source" : "google" ,
"url" : "https://www.google.com/search?tbm=shop&q=adidas&hl=en" ,
"geo_location" : "New York,New York,United States" ,
"parse" : true
}
Copy curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
-d '{"source": "google", "url": "https://www.google.com/search?tbm=shop&q=adidas&hl=en", "geo_location": "New York,New York,United States"}'
Copy import requests
from pprint import pprint
# Structure payload.
payload = {
'source' : 'google' ,
'url' : 'https://www.google.com/search?tbm=shop&q=adidas&hl=en' ,
'geo_location' : 'New York,New York,United States'
}
# Get response.
response = requests . request (
'POST' ,
'https://realtime.oxylabs.io/v1/queries' ,
auth = ( 'user' , 'pass1' ),
json = payload,
)
# Instead of response with job status and results url, this will return the
# JSON response with results.
pprint (response. json ())
Copy <? php
$params = array (
'source' => 'google' ,
'url' => 'https://www.google.com/search?tbm=shop&q=adidas&hl=en' ,
'geo_location' => 'New York,New York,United States' ,
);
$ch = curl_init () ;
curl_setopt ( $ch , CURLOPT_URL , "https://data.oxylabs.io/v1/queries" ) ;
curl_setopt ( $ch , CURLOPT_RETURNTRANSFER , 1 ) ;
curl_setopt ( $ch , CURLOPT_POSTFIELDS , json_encode ( $params )) ;
curl_setopt ( $ch , CURLOPT_POST , 1 ) ;
curl_setopt ( $ch , CURLOPT_USERPWD , "user" . ":" . "pass1" ) ;
$headers = array ();
$headers[] = "Content-Type: application/json" ;
curl_setopt ( $ch , CURLOPT_HTTPHEADER , $headers ) ;
$result = curl_exec ( $ch ) ;
echo $result;
if ( curl_errno ( $ch ) ) {
echo 'Error:' . curl_error ( $ch ) ;
}
curl_close ( $ch ) ;
?>
Copy # Parameters have to be encoded to escape special characters:
# URL: https://www.google.com/search?tbm=shop&q=adidas&hl=en
# geo_location: New York,New York,United States
# Encoded URL: https%3A%2F%2Fwww.google.com%2Fsearch%3Ftbm%3Dshop%26q%3Dadidas%26hl%3Den
# Encoded geo_location: New%20York%2CNew%20York%2CUnited%20States
https://realtime.oxylabs.io/v1/queries?source=google&url=https%3A%2F%2Fwww.google.com%2Fsearch%3Ftbm%3Dshop%26q%3Dadidas%26hl%3Den&geo_location=New%20York%2CNew%20York%2CUnited%20States&access_token=12345abcde
以上示例使用了 Realtime 集成方法。如果您想在您的查询中使用一些其他集成方法(如推拉 或代理端 点 ),请参考集成方法 部分。
购物搜索
google_shopping_search
源设计用于检索 Google Shopping 搜索结果。
查询参数
参数 描述 默认值 Accept-Language
标头值,它可以更改您的 Google Shopping 页面的网页界面语言。更多信息 。
结果语言。单击此处 查看支持 Google 语言的完整列表。
结果应适应的地理位置。正确使用这个参数对获得正确数据极为重要。欲了解更多信息,请在此处
阅读我们建议的 geo_location
参数结构。
true
将返回解析数据。查看结构化数据 了解更多信息。
按给定标准对产品列表进行排序。r
应用默认 Google 排序。 rv
- 按评论分数排序。 p
- 按价格升序排列。 pd
- 按价格降序排列
- 必须提供的参数
代码示例
在这个示例中,我们提出了请求来检索关键字 adidas
的前 4
页 Google Shopping 搜索,按价格降序排列,最低价格为 $20
。
JSON cURL Python PHP HTTP
Copy {
"source" : "google_shopping_search" ,
"domain" : "com" ,
"query" : "adidas" ,
"pages" : 4 ,
"parse" : true ,
"context" : [
{
"key" : "sort_by" ,
"value" : "pd"
} ,
{
"key" : "min_price" ,
"value" : 20
}]
}
Copy curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
-d '{"source": "google_shopping_search", "domain": "com", "query": "adidas", "pages": 4, "context": [{"key": "sort_by", "value": "pd"}, {"key": "min_price", "value": 20}]}'
Copy import requests
from pprint import pprint
# Structure payload.
payload = {
'source' : 'google_shopping_search' ,
'domain' : 'com' ,
'query' : 'adidas' ,
'pages' : 4 ,
'context' : [
{ 'key' : 'sort_by' , 'value' : 'pd' },
{ 'key' : 'min_price' , 'value' : 20 },
] ,
}
# Get response.
response = requests . request (
'POST' ,
'https://realtime.oxylabs.io/v1/queries' ,
auth = ( 'user' , 'pass1' ),
json = payload,
)
# Print prettified response to stdout.
pprint (response. json ())
Copy <? php
$params = array (
'source' => 'google_shopping_search' ,
'domain' => 'com' ,
'query' => 'adidas' ,
'pages' => 4 ,
'context' => array (
'key' => 'sort_by' , 'value' => 'pd' ,
'key' => 'min_price' , 'value' : 20
)
);
$ch = curl_init () ;
curl_setopt ( $ch , CURLOPT_URL , "https://realtime.oxylabs.io/v1/queries" ) ;
curl_setopt ( $ch , CURLOPT_RETURNTRANSFER , 1 ) ;
curl_setopt ( $ch , CURLOPT_POSTFIELDS , json_encode ( $params )) ;
curl_setopt ( $ch , CURLOPT_POST , 1 ) ;
curl_setopt ( $ch , CURLOPT_USERPWD , "user" . ":" . "pass1" ) ;
$headers = array ();
$headers[] = "Content-Type: application/json" ;
curl_setopt ( $ch , CURLOPT_HTTPHEADER , $headers ) ;
$result = curl_exec ( $ch ) ;
echo $result;
if ( curl_errno ( $ch ) ) {
echo 'Error:' . curl_error ( $ch ) ;
}
curl_close ( $ch ) ;
?>
Copy https://realtime.oxylabs.io/v1/queries?source=google_shopping_search&domain=com&query=adidas&pages=4&context[0][key]=sort_by&context[0][value]=pd&context[1][key]=min_price&context[1][value]=20&access_token=12345abcde
以上示例使用了 Realtime 集成方法。如果您想在您的查询中使用一些其他集成方法(如推拉 或代理端 点 ),请参考集成方法 部分。
购物产品
google_shopping_product
源设计用于检索指定产品的 Google Shopping 产品页面。
查询参数
参数 描述 默认值 Accept-Language
标头值,它可以更改您的 Google Shopping 页面的网页界面语言。更多信息 。
结果语言。单击此处 查看支持 Google 语言的完整列表。
结果应适应的地理位置。正确使用这个参数对获得正确数据极为重要。欲了解更多信息,请在此处 阅读我们建议的 geo_location
参数结构。
true
将返回解析数据。查看结构化数据 了解更多信息。
- 必须提供的参数
代码示例
在以下代码示例中,我们发出请求从 com
域名检索产品 ID 5007040952399054528
的产品页面。
JSON cURL Python PHP HTTP
Copy {
"source" : "google_shopping_product" ,
"domain" : "com" ,
"query" : "5007040952399054528" ,
"parse" : true
}
Copy curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
-d '{"source": "google_shopping_product", "domain": "com", "query": "5007040952399054528"}'
Copy import requests
from pprint import pprint
# Structure payload.
payload = {
'source' : 'google_shopping_product' ,
'domain' : 'com' ,
'query' : '5007040952399054528' ,
}
# Get response.
response = requests . request (
'POST' ,
'https://realtime.oxylabs.io/v1/queries' ,
auth = ( 'user' , 'pass1' ),
json = payload,
)
# Print prettified response to stdout.
pprint (response. json ())
Copy <? php
$params = array (
'source' => 'google_shopping_product' ,
'domain' => 'com' ,
'query' => '5007040952399054528' ,
);
$ch = curl_init () ;
curl_setopt ( $ch , CURLOPT_URL , "https://realtime.oxylabs.io/v1/queries" ) ;
curl_setopt ( $ch , CURLOPT_RETURNTRANSFER , 1 ) ;
curl_setopt ( $ch , CURLOPT_POSTFIELDS , json_encode ( $params )) ;
curl_setopt ( $ch , CURLOPT_POST , 1 ) ;
curl_setopt ( $ch , CURLOPT_USERPWD , "user" . ":" . "pass1" ) ;
$headers = array ();
$headers[] = "Content-Type: application/json" ;
curl_setopt ( $ch , CURLOPT_HTTPHEADER , $headers ) ;
$result = curl_exec ( $ch ) ;
echo $result;
if ( curl_errno ( $ch ) ) {
echo 'Error:' . curl_error ( $ch ) ;
}
curl_close ( $ch ) ;
?>
Copy https://realtime.oxylabs.io/v1/queries?source=google_shopping_product&domain=com&query=5007040952399054528&pages=4&access_token=12345abcde
以上示例使用了 Realtime 集成方法。如果您想在您的查询中使用一些其他集成方法(如推拉 或代理端 点 ),请参考集成方法 部分。
产品价格
google_shopping_pricing
源设计用于检索包含您所选产品 ID 可用的报价清单的页面。
查询参数
参数 描述 默认值 Accept-Language
标头值,它可以更改您的 Google Shopping 页面的网页界面语言。更多信息 。
结果语言。单击此处 查看支持 Google 语言的完整列表。
结果应适应的地理位置。正确使用这个参数对获得正确数据极为重要。欲了解更多信息,请在此处 阅读我们建议的 geo_location
参数结构。
true
将返回解析数据。查看结构化数据 了解更多信息。
- 必须提供的参数
代码示例
在以下代码示例中,我们发出请求检索产品 ID 5007040952399054528
的产品定价页面,该页面来自 google.com
上的 Google Shopping 网站。
JSON cURL Python PHP HTTP
Copy {
"source" : "google_shopping_pricing" ,
"domain" : "com" ,
"query" : "5007040952399054528" ,
"parse" : true
}
Copy curl --user user:pass1 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json"
-d '{"source": "google_shopping_pricing", "domain": "com", "query": "5007040952399054528"}'
Copy import requests
from pprint import pprint
# Structure payload.
payload = {
'source' : 'google_shopping_pricing' ,
'domain' : 'com' ,
'query' : '5007040952399054528' ,
}
# Get response.
response = requests . request (
'POST' ,
'https://realtime.oxylabs.io/v1/queries' ,
auth = ( 'user' , 'pass1' ),
json = payload,
)
# Print prettified response to stdout.
pprint (response. json ())
Copy <? php
$params = array (
'source' => 'google_shopping_pricing' ,
'domain' => 'com' ,
'query' => '5007040952399054528' ,
);
$ch = curl_init () ;
curl_setopt ( $ch , CURLOPT_URL , "https://realtime.oxylabs.io/v1/queries" ) ;
curl_setopt ( $ch , CURLOPT_RETURNTRANSFER , 1 ) ;
curl_setopt ( $ch , CURLOPT_POSTFIELDS , json_encode ( $params )) ;
curl_setopt ( $ch , CURLOPT_POST , 1 ) ;
curl_setopt ( $ch , CURLOPT_USERPWD , "user" . ":" . "pass1" ) ;
$headers = array ();
$headers[] = "Content-Type: application/json" ;
curl_setopt ( $ch , CURLOPT_HTTPHEADER , $headers ) ;
$result = curl_exec ( $ch ) ;
echo $result;
if ( curl_errno ( $ch ) ) {
echo 'Error:' . curl_error ( $ch ) ;
}
curl_close ( $ch ) ;
?>
Copy https://realtime.oxylabs.io/v1/queries?source=google_shopping_pricing&domain=com&query=5007040952399054528&pages=4&access_token=12345abcde
以上示例使用了 Realtime 集成方法。如果您想在您的查询中使用一些其他集成方法(如推拉 或代理端 点 ),请参考集成方法 部分。