网页爬虫 API

了解如何使用 网页爬虫API 抓取任何公共网站。查找代码示例、参数用法、本地化、目标站点等详细内容。

网页爬虫 API 是一个 一体化网络数据采集平台。它涵盖网络爬取的每个阶段，从抓取 URL 和绕过 IP 限制到精确的数据解析并将数据交付到您首选的云存储。从以下来源提取数据： 搜索引擎, 电商网站, 旅游平台，以及 任何其他网站。

入门

创建您的 API 用户凭证：注册免费试用或在 Oxylabs 控制面板 中购买产品以创建您的 API 用户凭证（USERNAME 和 PASSWORD).

如果您的账户需要多个 API 用户，请联系我们的 客户支持 或通过我们的 24/7 在线聊天支持留言。

请求示例

下面是示例 cURL 请求。有关其他编程语言的示例，请参阅相关部分： Amazon, Google, 其他网站.

Amazon

curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
        "source": "amazon_product",
        "query": "B07FZ8S74R",
        "geo_location": "90210",
        "parse": true
    }'

Google

其他

在我们的示例中，我们使用同步的 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步的 Push-Pull 集成，请参阅 集成方法 部分。

17KB

amazon_product output example.json

打开

23KB

Generic URL output example.json

打开

请求参数值

1. source - 此参数设置将用于处理您请求的爬虫。

2. URL 或 query - 为您想要抓取的页面类型提供 URL 或 query 。请参阅下表以及相应的目标子页面，了解何时使用每个参数的详细说明。

3. 可选地，您可以包含其他参数，如 geo_location, user_agent_type, parse （我们的解析器列表可在 此处), render 等，以自定义您的抓取请求。阅读更多： 功能.

- 必填参数

使用 URL 或参数化输入进行抓取

Oxylabs 支持两类通用输入 - URL 和参数化输入，如查询、产品或视频 ID。 通用目标 没有专用 source 的目标可以使用 universal source 进行抓取。

目标	来源（抓取 URL）	来源（使用查询、产品或视频 ID）
Amazon	amazon	amazon_product, amazon_search, amazon_pricing, amazon_sellers, amazon_bestsellers
Google	google	google_search, google_ads, google_ai_mode, google_lens, google_maps, google_travel_hotels, google_trends_explore, google_shopping_product, google_shopping_search
Bing	bing	bing_search
YouTube	universal	youtube_search, youtube_search_max, youtube_video_trainability, youtube_download, youtube_transcript, youtube_subtitles, youtube_metadata, youtube_channel, youtube_autocomplete
ChatGPT	universal	chatgpt
Perplexity	universal	perplexity
Walmart	walmart	walmart_search, walmart_product
TikTok	universal	tiktok_shop_search, tiktok_shop_product
eBay	ebay	ebay_search, ebay_product
Etsy	etsy	etsy_search, etsy_product
Best Buy	universal	bestbuy_search, bestbuy_product
Bed Bath & Beyond	bedbathandbeyond	bedbathandbeyond_search, bedbathandbeyond_product
Bodega Aurrerá	bodegaaurrera	bodegaaurrera_search, bodegaaurrera_product
Instacart	instacart	instacart_search, instacart_product
Kroger	kroger	kroger_search, kroger_product
Lowe's	lowes	lowes_search, lowes_product
Publix	publix	publix_search, publix_product
目标	target	target_search, target_product, target_category
Grainger	grainger	grainger_search, grainger_product
Costco	costco	costco_search, costco_product
Menards	menards	menards_search, menards_product
Petco	universal	petco_search
Staples	universal	staples_search
Allegro	universal	allegro_search, allegro_product
Idealo	universal	idealo_search
MediaMarkt	mediamarkt	mediamarkt_search, mediamarkt_product
Cdiscount	cdiscount	cdiscount_search, cdiscount_product
Alibaba	alibaba	alibaba_search, alibaba_product
AliExpress	aliexpress	aliexpress_search, aliexpress_product
IndiaMART	indiamart	indiamart_search, indiamart_product
Avnet	universal	avnet_search
Lazada	lazada	lazada_search, lazada_product
Rakuten	universal	rakuten_search
Tokopedia	universal	tokopedia_search
Flipkart	flipkart	flipkart_search, flipkart_product
MercadoLibre	universal	mercadolibre_search
Mercado Livre	universal	mercadolivre_search
Magazine Luiza	magazineluiza	magazineluiza_search, magazineluiza_product
Falabella	falabella	falabella_search, falabella_product
Dcard	universal	dcard_search
Airbnb	airbnb	airbnb_product
Zillow	zillow	使用 query 参数不受支持
其他网站	universal	使用 query 参数不受支持

如果您在发出首次请求时需要任何帮助，请随时通过 24/7 在线聊天与我们联系。

通过 Scraper APIs Playground 进行测试

试用 网页爬虫 API 和 OxyCopilot 在 Scraper APIs Playground.

通过 Postman 进行测试

使用 Postman 入门我们的 API，Postman 是一个便于发出 HTTP 请求的工具。下载我们的 网页爬虫 API Postman 集合 并导入。该集合包含演示爬虫功能的示例。根据需要自定义示例或立即开始抓取。

有关逐步说明，请观看下面的视频教程。如果您对 Postman 不熟，请查看这份简短的 指南.

本文中所有信息均按“原样”提供，仅供参考。我们不作任何陈述并对您使用本页所含任何信息不承担任何责任。在从事任何形式的抓取活动之前，您应咨询法律顾问并仔细阅读相关网站的服务条款或获取抓取许可。