> For the complete documentation index, see [llms.txt](https://developers.oxylabs.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://developers.oxylabs.io/products/cn/web-scraper-api.md). # 网页爬虫API [**网页爬虫API**](https://oxylabs.io/products/scraper-api/web) 是一个 **一体化网页数据采集解决方案** 专为从任何公开网站大规模提取实时数据而设计。它涵盖网页抓取的每个阶段，从抓取 URL、提高访问成功率，到数据解析并交付到你偏好的存储中，因此你无需管理代理、请求管理或基础设施。 该工具旨在满足企业级安全标准，包括 SOC 2 Type II 合规性，并提供可快速适应的基础设施，可动态调整以适配目标网站，从而确保在搜索引擎、电商网站、旅行平台等场景中具备高成功率和可靠的数据提取。 ## 开始使用 **创建你的 API 用户凭证**：注册免费试用或在 [**Oxylabs 控制面板**](https://dashboard.oxylabs.io/en/registration) 中购买产品，以创建你的 API 用户凭证（`USERNAME` 和 `PASSWORD`). ### 请求示例 该 API 会作为其集成基础设施的一部分，自动管理代理轮换、请求重试，并处理机器人监测系统，因此一次请求就足以获取所有结构化数据。 下面你会找到示例 cURL 请求。如需其他编程语言的示例，请参阅相关部分： [**Amazon**](/api-targets/cn/dian-zi-shang-wu/amazon.md), [**Google**](/api-targets/cn/sou-suo-yin-qing/google.md), [**其他网站**](/api-targets/cn/ren-he-yu-ming.md). {% tabs %} {% tab title="Amazon" %} ```bash curl 'https://realtime.oxylabs.io/v1/queries' \\ --user "USERNAME:PASSWORD" \\ -H "Content-Type: application/json" \\ -d '{ "source": "amazon_product", "query": "B07FZ8S74R", "geo_location": "90210", "parse": true }' ``` {% endtab %} {% tab title="Google" %} ```bash curl 'https://realtime.oxylabs.io/v1/queries' \\ --user 'USERNAME:PASSWORD' \\ -H 'Content-Type: application/json' \\ -d '{ "source": "google_search", "query": "adidas", "geo_location": "California,United States", "parse": true }' ``` {% endtab %} {% tab title="其他" %} ```bash curl 'https://realtime.oxylabs.io/v1/queries' \\ --user 'USERNAME:PASSWORD' \\ -H 'Content-Type: application/json' \\ -d '{ "source": "universal", "url": "https://sandbox.oxylabs.io/" }' ``` {% endtab %} {% endtabs %} 我们在示例中使用同步 [**Realtime**](/products/cn/web-scraper-api/integration-methods/realtime.md) 集成方式。如果你想使用 [**Proxy Endpoint**](/products/cn/web-scraper-api/integration-methods/proxy-endpoint.md) 或异步 [**Push-Pull**](/products/cn/web-scraper-api/integration-methods/push-pull.md) 集成，请参阅 [**集成方式**](/products/cn/web-scraper-api/integration-methods.md) 部分。 {% file src="/files/8365b1362a7a5614a3b24348eef8a863a5a2f564" %} {% file src="/files/b0ad6ed9e7d782f0549a12e6f6ad11e8af390529" %} ### 请求参数值 1. **`source`** - 此参数用于设置将处理你的请求的 scraper。 2. **`URL`** 或 **`query`** - 提供 `URL` 或 `query` ，用于你要抓取的页面类型。请参阅下表及相应的目标子页面，了解何时使用每个参数的详细说明。 3. 你也可以选择包含其他参数，例如 `geo_location`, `user_agent_type`, `parse` （查看我们的解析器列表 [**这里**](/products/cn/web-scraper-api/features/result-processing-and-storage/dedicated-parsers.md)), `render` 以及更多参数，以自定义你的抓取请求。更多信息： [**功能**](/products/cn/web-scraper-api/features.md). \- 必填参数 ### 使用 URL 或参数化输入进行抓取 Oxylabs 支持两大类输入——URL 和参数化输入，如查询、商品或视频 ID。 [通用目标](/api-targets/cn/ren-he-yu-ming.md) 没有专用 source 的通用目标可以使用 `universal` source。
目标来源（抓取 URL）来源（使用 Query、Product 或 Video ID）
Amazonamazon

amazon_product,

amazon_search,

amazon_pricing,

amazon_sellers,

amazon_bestsellers

Googlegoogle

google_search,

google_ads,

google_ai_mode,

google_lens,

google_maps,

google_travel_hotels,

google_trends_explore,

google_shopping_product,

google_shopping_search

Bingbingbing_search
YouTubeuniversal

youtube_search,

youtube_search_max,

youtube_video_trainability,

youtube_download,

youtube_subtitles,

youtube_metadata,

youtube_channel,

youtube_autocomplete

ChatGPTuniversalchatgpt
Perplexityuniversalperplexity
Walmartwalmart

walmart_search,

walmart_product

TikTokuniversal

tiktok_shop_search,

tiktok_shop_product

eBayebay

ebay_search,

ebay_product

Etsyetsy

etsy_search,

etsy_product

Best Buyuniversal

bestbuy_search,

bestbuy_product

Bed Bath & Beyondbedbathandbeyondbedbathandbeyond_search,
bedbathandbeyond_product
Bodega Aurrerábodegaaurrerabodegaaurrera_搜索,
bodegaaurrera_产品
Instacartinstacartinstacart_search,
instacart_product
Krogerkroger

kroger_search,

kroger_product

Lowe'slowes

lowes_search,

lowes_product

Publixpublixpublix_search,
publix_product
目标target

target_search,

target_product,

target_category

Graingergraingergrainger_search,
grainger_product
Costcocostco

costco_search,

costco_product

Menardsmenardsmenards_search,
menards_product
Petcouniversalpetco_search
Staplesuniversalstaples_search
Allegrouniversal

allegro_search,

allegro_product

Idealouniversalidealo_搜索
MediaMarktmediamarktmediamarkt_search,
mediamarkt_product
Cdiscountcdiscountcdiscount_search,
cdiscount_product
Alibabaalibabaalibaba_search,
alibaba_product
AliExpressaliexpressaliexpress_search,
aliexpress_product
IndiaMARTindiamartindiamart_search,
indiamart_product
Avnetuniversalavnet_search
Lazadalazadalazada_search,
lazada_product
Rakutenuniversalrakuten_search
Tokopediauniversaltokopedia_search
Flipkartflipkartflipkart_search,
flipkart_product
MercadoLibreuniversalmercadolibre_search
Mercado Livreuniversalmercadolivre_search
Magazine Luizamagazineluizamagazineluiza_search,
magazineluiza_product
Falabellafalabellafalabella_search,
falabella_product
Dcarduniversaldcard_search
Airbnbairbnbairbnb_产品
Zillowzillow使用 query 参数不受支持
其他网站universal使用 query 参数不受支持
{% hint style="info" %} 如果您在完成首次请求或优化配置时需要帮助，我们的 24/7 专家支持团队可通过在线聊天提供服务。 {% endhint %} ## 通过 Web Scraper API Playground 进行测试 试试 [**网页爬虫API**](https://oxylabs.io/products/scraper-api/web) 和 [**OxyCopilot**](https://oxylabs.io/products/scraper-api/ai-web-scraper-copilot) 在 [**Web Scraper API Playground**](https://dashboard.oxylabs.io/?route=/api-playground). {% embed url="" %} {% embed url="" %} ## 通过 Postman 进行测试 使用 Postman 开始使用我们的 API，Postman 是一个用于发起 HTTP 请求的便捷工具。下载我们的 [**网页爬虫API Postman 集合**](https://files.gitbook.com/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FMeGA0TZQMcAFHoVhRSQi%2FWeb%20Scraper%20API.new_postman_collection.json?alt=media\&token=9f51d41b-6604-4eef-b6c1-5024cf52c5bf) 并导入它。此集合包含演示爬虫功能的示例。可根据需要自定义这些示例，或立即开始抓取。 如需逐步说明，请观看下面的视频教程。如果你是 Postman 新手，请查看这个简短的 [**指南**](/integrations/cn/wang-ye-pa-chong-api-ji-cheng/postman.md). {% embed url="" %} {% hint style="info" %} *此处提供的所有信息均按“现状”提供，仅供参考。对于您使用本页面所含任何信息，我们不作任何陈述，并且拒绝承担全部责任。在进行任何形式的抓取活动之前，您应咨询您的法律顾问，并仔细阅读相关网站的服务条款，或获取抓取许可。* {% endhint %} --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://developers.oxylabs.io/products/cn/web-scraper-api.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.