集成方法

爬虫API 支持三种整合方法,每一种都有其独特的优势:

  • Realtime。该方法是同步的。这意味着在发送您的作业提交请求时,您必须保持连接开放 直到我们成功完成您的作业或返回一个错误。

  • 代理端口。这个方法也是同步的(就像 Realtime),但您不是通过 RESTful 接口使用我们的服务,而是可以像代理一样使用我们的端口

  • Push-Pull. 这种整合方法是异步的。这意味着在您提交作业后,我们将迅速返回您的 JSON 作业信息,包括用于下载结果/检查作业状态的 URL。在处理完您的作业后,我们将向您的服务器寄送关于作业完成的通知,这时您可以继续下载结果。这种整合方法还能将结果直接上传到您的云存储(AWS S3 或谷歌云存储)。

最后更新于