网页爬虫 API (Web Scraper API)

学习使用网页爬虫 API 来抓取您所需的任何公共网站。查找代码示例、参数用法、本地化、目标等信息。

网页爬虫 API 是一个 一体化网页数据采集平台。它涵盖了网络爬取的每个阶段，从抓取 URL 和绕过 IP 限制到精确的数据解析并传送到您首选的云存储。从以下来源提取数据 搜索引擎, 电子商务网站, 旅行平台，和 任何其他网站。

快速开始

创建您的 API 用户凭证：在 Oxylabs 仪表板 注册试用或购买产品以创建您的 API 用户凭证（USERNAME 和 PASSWORD).

如果您需要为帐户创建多个 API 用户，请联系 客户支持 或使用我们的 24/7 在线聊天支持发送消息。

请求示例

下面，您会看到示例 cURL 请求。有关其他编程语言的示例，请参阅相关章节： Amazon, Google, 其他网站.

Amazon

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

Google

其他

我们在示例中使用同步 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步 Push-Pull 集成，请参阅 集成方法 部分。

17KB

amazon_product output example.json

打开

23KB

Generic URL output example.json

打开

请求参数值

1. source - 此参数设置将用于处理您请求的爬虫。

2. URL 或 query - 提供 URL 或 query 以指定您要爬取的页面类型。请参考下表以及相应的目标子页面，以获取何时使用每个参数的详细指导。

3. 可选地，您可以包含其他参数，例如 geo_location, user_agent_type, parse （查找我们的解析器列表 此处), render 以及更多可用于自定义您的爬取请求。阅读更多： 功能.

- 强制参数

使用 URL 或参数化输入进行爬取

Oxylabs 支持两类通用输入——URL 和诸如查询、产品或视频 ID 之类的参数化输入。 通用目标 如果没有专用来源，可以使用 universal 源进行爬取。

目标	来源（爬取 URL）	来源（使用查询、产品或视频 ID）
Amazon	amazon	amazon_product, amazon_search, amazon_pricing, amazon_sellers, amazon_bestsellers
Google	google	google_search, google_ads, google_ai_mode, google_lens, google_maps, google_travel_hotels, google_suggest, google_trends_explore, google_shopping_product, google_shopping_search
Bing	bing	bing_search
YouTube	universal	youtube_search, youtube_search_max, youtube_video_trainability, youtube_download, youtube_transcript, youtube_subtitles, youtube_metadata, youtube_channel, youtube_autocomplete
ChatGPT	universal	chatgpt
Perplexity	universal	perplexity
Walmart	walmart	walmart_search, walmart_product
TikTok	universal	tiktok_shop_search, tiktok_shop_product
eBay	ebay	ebay_search, ebay_product
Etsy	etsy	etsy_search, etsy_product
Best Buy	universal	bestbuy_search, bestbuy_product
Bed Bath & Beyond	bedbathandbeyond	bedbathandbeyond_search, bedbathandbeyond_product
Bodega Aurrerá	bodegaaurrera	bodegaaurrera_search, bodegaaurrera_product
Instacart	instacart	instacart_search, instacart_product
Kroger	kroger	kroger_search, kroger_product
Lowe's	lowes	lowes_search, lowes_product
Publix	publix	publix_search, publix_product
目标	target	target_search, target_product, target_category
Grainger	grainger	grainger_search, grainger_product
Costco	costco	costco_search, costco_product
Menards	menards	menards_search, menards_product
Petco	universal	petco_search
Staples	universal	staples_search
Allegro	universal	allegro_search, allegro_product
Idealo	universal	idealo_search
MediaMarkt	mediamarkt	mediamarkt_search, mediamarkt_product
Cdiscount	cdiscount	cdiscount_search, cdiscount_product
Alibaba	alibaba	alibaba_search, alibaba_product
AliExpress	aliexpress	aliexpress_search, aliexpress_product
IndiaMART	indiamart	indiamart_search, indiamart_product
Avnet	universal	avnet_search
Lazada	lazada	lazada_search, lazada_product
Rakuten	universal	rakuten_search
Tokopedia	universal	tokopedia_search
Flipkart	flipkart	flipkart_search, flipkart_product
MercadoLibre	universal	mercadolibre_search
Mercado Livre	universal	mercadolivre_search
Magazine Luiza	magazineluiza	magazineluiza_search, magazineluiza_product
Falabella	falabella	falabella_search, falabella_product
Dcard	universal	dcard_search
Airbnb	airbnb	airbnb_product
其他网站	universal	使用 query 参数不受支持

如果您在发出首次请求时需要任何帮助，欢迎通过 24/7 在线聊天联系我们。

通过 Scraper APIs Playground 测试

尝试 网页爬虫 API 和 OxyCopilot 在 Scraper APIs Playground.

通过 Postman 测试

使用 Postman 快速开始我们的 API，Postman 是一个便捷的 HTTP 请求工具。下载我们的 网页爬虫 API Postman 集合 并导入它。该集合包含演示爬虫功能的示例。根据需要自定义示例或立即开始爬取。

有关逐步说明，请观看下面的视频教程。如果您不熟悉 Postman，请查看这份简短的 指南.

此处提供的所有信息均按“原样”提供，仅供参考。对于您使用本页所含信息的结果，我们不作任何陈述并否认一切责任。在进行任何形式的爬取活动之前，您应咨询法律顾问并仔细阅读相关网站的服务条款或获取爬取许可。