WebHarvy

将 WebHarvy 网页抓取器与 Oxylabs 住宅代理集成。代理配置和身份验证的逐步设置指南。

WebHarvy 是一款从网页提取文本、HTML 和图像的网页爬取工具。该工具支持处理登录、表单提交、导航、翻页、定时爬取并支持代理。

要将 Oxylabs 住宅代理 与 WebHarvy 集成，请按以下步骤操作：

步骤 1。 下载 并安装 WebHarvy 应用。

步骤 2。 设置完成后，前往 设置。

步骤 3。 点击 代理设置。选择 启用通过代理服务器的网络连接 并选择 HTTP 作为您的 类型.

步骤 4。 填写以下信息：

地址：pr.oxylabs.io

端口： 7777

您也可以使用随机或粘性（sticky）的国家特定条目。例如，如果您输入 us-pr.oxylabs.io 在 地址 和 10000 在 端口，您将获取一个美国出口节点。如果您输入 10001 在 端口，您将获得带粘性会话的美国出口节点。您可以在此处找到国家特定随机代理入口节点的完整列表 此处 以及粘性代理入口节点的列表 - 此处.

步骤 5。 选择 需要身份验证 以输入您的 Oxylabs 代理 用户名 和 密码。点击 + 按钮将您的新代理添加到列表中。

步骤 6。 按下 应用 以完成您的 WebHarvy 代理集成。

就这样。现在您可以浏览互联网并标记要抓取的特定行。通过点击 开始， 您可以开始选择目标数据。

查找原始的 WebHarvy 集成博客文章 此处.