网页爬虫 API
学习使用 网页爬虫API 抓取任何公共网站。查找代码示例、参数用法、本地化、目标站点等更多内容。
网页爬虫 API 是一个 一体化网页数据采集平台。它覆盖网页爬取的每个阶段，从抓取 URL 和绕过 IP 限制到精确的数据解析并交付到您首选的云存储。从以下来源提取数据： 搜索引擎, 电商网站, 旅行平台，以及 任何其他网站。
入门
创建您的 API 用户凭据：注册免费试用或在 Oxylabs 仪表板 中购买产品以创建您的 API 用户凭据（USERNAME 和 PASSWORD).
如果您的账户需要多个 API 用户，请联系 客户支持 或通过我们的 24/7 在线聊天支持与我们联系。
请求示例
下面您会看到示例 cURL 请求。有关其他编程语言的示例，请参阅相关部分： Amazon, Google, 其他网站.
curl 'https://realtime.oxylabs.io/v1/queries' \
--user "USERNAME:PASSWORD" \
-H "Content-Type: application/json" \
-d '{
"source": "amazon_product",
"query": "B07FZ8S74R",
"geo_location": "90210",
"parse": true
}'curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
"source": "google_search",
"query": "adidas",
"geo_location": "California,United States",
"parse": true
}'curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
"source": "universal",
"url": "https://sandbox.oxylabs.io/"
}'在我们的示例中，我们使用同步的 Realtime 集成方法。如果您想使用 Proxy Endpoint 或异步的 Push-Pull 集成，请参阅 集成方法 部分。
请求参数值
source - 此参数设置将用于处理您请求的爬虫。
URL 或 query - 提供用于您要抓取的页面类型的
URL或query。请参阅下表和相应的目标子页面以获取何时使用每个参数的详细指南。
- 必需参数
使用 URL 或参数化输入进行抓取
Oxylabs 支持两类通用输入——URL 和参数化输入，例如查询、产品或视频 ID。 通用目标 如果没有专用源，则可以使用 universal 源进行抓取。
google
google_search,
google_ads,
google_ai_mode,
google_lens,
google_maps,
google_travel_hotels,
google_suggest,
google_trends_explore,
google_shopping_product,
google_shopping_search
universal
youtube_search,
youtube_search_max,
youtube_video_trainability,
youtube_download,
youtube_transcript,
youtube_subtitles,
youtube_metadata,
youtube_channel,
youtube_autocomplete
通过 Scraper APIs Playground 进行测试
尝试 网页爬虫 API 和 OxyCopilot 在 Scraper APIs Playground.
通过 Postman 测试
使用 Postman 快速开始我们的 API，Postman 是一个便捷的 HTTP 请求工具。下载我们的 网页爬虫 API Postman 集合 并导入它。该集合包含演示爬虫功能的示例。根据需要自定义示例或立即开始抓取。
有关逐步说明，请观看下面的视频教程。如果您是 Postman 新手，请查看这份简短的 指南.
最后更新于
这有帮助吗？