WebHarvy
将 WebHarvy 网页爬虫与 Oxylabs 代理集成。代理配置和身份验证分步设置指南。
WebHarvy 是一款网页抓取工具，可从网页中提取文本、HTML 和图片。该工具可处理登录、表单提交、导航、分页、定时抓取，并支持代理。
按照以下步骤将下列 Oxylabs 代理集成到 WebHarvy 中：
步骤 1
下载 并安装 WebHarvy 应用。
步骤 2
设置完成后，转到 设置。
步骤 3
点击 代理设置. 选择以勾选 通过代理服务器启用网络连接 并选择 HTTP, HTTPS，或 SOCKS5 作为您的代理协议 类型.
步骤 4
填写所选代理类型的连接详情：
住宅代理和移动代理
类型： HTTP, HTTPS，或 SOCKS5
地址： pr.oxylabs.io
端口： 7777
你还可以使用 附加参数 搭配住宅代理和移动代理来设置地理位置（国家/地区、州、省、市等）并控制会话。查看 住宅代理文档 以了解更多。
数据中心代理
类型： HTTP, HTTPS，或 SOCKS5
地址: dc.oxylabs.io
端口： 8001
独享数据中心代理（企业版）
类型： HTTP 或 SOCKS5
地址： 1.2.3.4 （来自你的 代理列表)
端口： 60000 (HTTP), 1180 (SOCKS5)
对于通过销售购买的企业独享数据中心代理，你必须从已获取的 代理列表.
独享数据中心代理（自助服务版）
代理类型： HTTP, HTTPS，或 SOCKS5
地址： ddc.oxylabs.io
端口： 8001
对于通过 Oxylabs 控制面板购买的自助服务独享数据中心代理，端口表示来自已获取的某个 IP 地址的顺序编号 代理列表。如果你希望每个请求都获取不同的 IP，请更改 端口 设置为 8000 以启用 代理轮换.
ISP代理
类型： HTTP, HTTPS，或 SOCKS5
地址： isp.oxylabs.io
端口： 8001
若要从特定国家的代理池获取轮换 IP，请按以下格式设置用户名： user-USERNAME-country-XX，其中 XX 是国家代码（例如 US 表示美国）。
独享ISP代理
类型： HTTP, HTTPS，或 SOCKS5
地址： disp.oxylabs.io
端口： 8001
您需要选择分配给所购买的 IP 地址的端口 代理列表，你可以在 Oxylabs 控制面板中找到。 8001 端口将为所有请求选取列表中的第一个 IP 地址。使用端口 8000 可自动进行 代理 IP 轮换.
步骤 5
选择 需要身份验证 以输入您的 Oxylabs 代理 用户名 并 密码:
住宅代理和移动代理
用户名： customer-USERNAME
密码： PASSWORD
数据中心代理
用户名： user-USERNAME
密码： PASSWORD
独享数据中心代理（企业版）
用户名： USERNAME
密码： PASSWORD
独享数据中心代理（自助服务）
用户名： user-USERNAME
密码： PASSWORD
ISP代理
用户名： user-USERNAME
密码： PASSWORD
独享ISP代理
用户名： user-USERNAME
密码： PASSWORD
请务必添加 customer- 或 user- 如果您的代理类型需要，请为您的用户名添加前缀。
点击 + 按钮将新代理添加到列表中。
步骤 6
按 应用 以完成您的 WebHarvy 代理集成。
就是这样。现在，您可以浏览互联网并标记要抓取的特定行。点击 开始， 您即可开始选择目标数据。
查看原始 WebHarvy 集成博客文章 此处.
最后更新于
这有帮助吗？