构建 URL

了解如何为 Web Scraper API 目标（如 Baidu、Yandex 和 Wayfair）构建 URL。掌握 URL 编码、分页等内容。

遵循这些指南，您可以为百度、Yandex 或 Wayfair 构建用于网页爬取任务的 URL。

百度

将任务参数分配到 URL：

https://<subdomain>.baidu.<domain>/s?ie=utf-8&wd=<query>&rn=<limit>&pn=<calculated_start_page>

在构建 URL 时，请遵循以下说明：

1. 对搜索词进行编码：搜索词必须进行 URL 编码。例如，空格应替换为 %20，它在 URL 中表示空格字符。

2. 计算起始页： start_page 参数现在对应于要跳过的搜索结果数量。使用下列等式 limit*start_page-limit 来计算该值。

3. 子域分配：子域值取决于任务中提供的 user agent 类型。如果 user agent 类型包含 mobile，则子域值应为 m。否则，应为 www.

4. 查询参数：取决于子域值（m 或 www），查询项的查询参数应相应调整（word 用于 m 和 wd 用于 www).

示例构建的 URL

针对移动端：

https://m.baidu.com/s?ie=utf-8&word=test&rn=10&pn=20

针对桌面端：

https://www.baidu.cn/s?ie=utf-8&wd=test%20query&rn=13

等价的任务示例

已停用 baidu_search 来源：

{
    "source": "baidu_search",
    "query": "test",
    "domain": "com",
    "limit": 5,
    "start_page": 3,
    "user_agent_type": "desktop"
}

已更新 universal 来源：

{
    "source": "universal",
    "url": "https://www.baidu.com/s?ie=utf-8&wd=test&rn=5&pn=10",
    "user_agent_type": "desktop"
}

Yandex

将任务参数分配到 URL：

https://yandex.<domain>/search/?text=<query>&numdoc=<limit>&p=<start_page>&lr=<geo_location>

在构建 URL 时，请遵循以下说明：

1. 对搜索词进行编码：搜索词必须进行 URL 编码。例如，空格应替换为 %20，它在 URL 中表示空格字符。

2. 起始页调整： start_page 的值必须减 1。例如，如果期望的起始页是 3，则 URL 中表示页码的值必须为 2.

3. 本地化：如果域名为 ru 或 tr，则会添加一个额外的查询参数 lr 并使用 geo_location 值。对于其它域， geo_location 值位于查询参数 rstr下，其中在值前添加一个 - 符号。

4. 不支持：pages 参数不再受支持。必须通过在 URL 中更改当前页值分别提交任务。

构建 URL 示例

https://yandex.ru/search/?text=test&numdoc=5&p=0&lr=100

https://yandex.com/search/?text=test%201&numdoc=10&p=2&rstr=-100

等价的任务示例

已停用 yandex_search 来源：

{
    "source": "yandex_search",
    "query": "test",
    "domain": "com",
    "limit": 5,
    "start_page": 3,
    "geo_location": 100,
    "results_language": "en"
}

已更新 universal 来源：

{
    "source": "universal",
    "url": "https://yandex.ru/search?text=adidas&numdoc=5&p=2&lr=100&lang=en"
}

Wayfair

将任务参数分配到 URL：

https://www.wayfair.<domain>/keyword.php?keyword=<query>&itemsperpage=<limit>&curpage=<start_page>

在构建 URL 时，请遵循以下说明：

1. 对搜索词进行编码：搜索词必须进行 URL 编码。例如，空格应替换为 %20，它在 URL 中表示空格字符。

2. 参数：如果 limit 等于 48 和 start_page 等于 1，则必须在 URL 后追加以下附加参数：

   1. command=dosearch

   2. new_keyword_search=true

构建 URL 示例

https://www.wayfair.com/keyword.php?keyword=test&itemsperpage=24&curpage=1

https://www.wayfair.fr/keyword.php?keyword=t%202&itemsperpage=48&curpage=1&command=dosearch&new_keyword_search=true

等价的任务示例

已停用 wayfair_search 来源：

{
   "source": "wayfair_search",
   "query": "test",
   "domain": "com",
   "limit": 5,
   "start_page": 3
}

已更新 universal 来源：

{
   "source": "universal",
   "url": "https://www.wayfair.com/keyword.php?keyword=room&itemsperpage=5&curpage=10"
}