全局参数值
下面是全局参数值的列表,它们在所有数据源中的工作方式相同。在菜单右侧,您可以看到完整的参数列表,点击任何一个参数即可跳转至相应章节。
回调是一个
POST
请求,通知您数据提取任务已经完成,结果可以下载。回调 URL 是我们将发送 POST 请求的 URL。使用
callback_url
参数来指定我们应该把通知 POST
的 URL。render
参数让您启用 JavaScript 执行。当目标网站需要 JavaScript 来加载所需内容时,或者当网站使用反僵尸工具,利用 JavaScript 对其访问者进行指纹识别时,就可以使用它。此参数有两个可用值:html (获取原始输出)和 png (获取 Base64 编码的屏幕截图)。
值 | 描述 |
---|---|
html | 输出将包括一个 HTML 结果。 |
png | 输出将包括一个 PNG 的结果截图。 |
source
参数是最重要的参数之一。它设置了我们将用来处理您的请求的爬虫 (例如google_search
, baidu
等)。您可以在您所选域的文档页面中找到准确的
source
参数值。以下部分概述了产品-域名-来源的关系。
电商爬虫 API
域 | 来源 |
---|---|
amazon , amazon_bestsellers , amazon_pricing , amazon_product , amazon_questions , amazon_reviews , amazon_search , amazon_sellers | |
google , google_shopping_search , google_shopping_product , google_shopping_pricing | |
aliexpress , aliexpress_product | |
idealo , idealo_search , idealo_product | |
wayfair , wayfair_search | |
universal_ecommerce |
SERP 爬虫 API
网络爬虫 API
域 | 来源 |
---|---|
universal |
user_agent_type
参数让您指定我们应该使用什么样的用户代理标头值来满足您的请求。您可以在附件或下表中找到可用值的完整列表。
user_agent_type.json
1KB
Code
用户代理类型值
值 | 描述 |
---|---|
desktop | 一个桌面浏览器的用户代理。 |
desktop_chrome | 最新版本桌面 Chrome 浏览器的用户代理。 |
desktop_edge | 最新版本桌面 Edge 浏览器的用户代理。 |
desktop_firefox | 最新版本桌面 Firefox 浏览器的用户代理。 |
desktop_opera | 最新版本桌面 Opera 浏览器的用户代理。 |
desktop_safari | 最新版本桌面 Safari 浏览器的用户代理。 |
mobile | 移动浏览器的一个用户代理。 |
mobile_android | 最新版本安卓手机浏览器的用户代理。 |
mobile_ios | 最新版本 iOS 浏览器的用户代理。 |
tablet | 平板电脑浏览器的一个用户代理。 |
tablet_android | 最新版本安卓平板电脑浏览器的用户代理。 |
tablet_ios | 最新版本 iPad 浏览器的用户代理。 |