Octoparse
将 Octoparse 与 Oxylabs 代理集成以实现无代码网页抓取。设置自动 IP 轮换并处理常见抓取挑战。
Octoparse 是一款数据提取工具。它允许你无需编写代码即可抓取公开数据，并通过自动 IP 轮换和延长会话时间来应对大多数抓取挑战。
按照以下步骤将 Octoparse 与以下 Oxylabs 代理集成：
第1步
下载，安装，然后打开 Octoparse。
第2步
通过点击 +New 位于左上角的按钮，并选择 “Custom Task”。
第3步
在 URL 输入框 中输入你要提取数据的网页 URL，然后点击 “Save” 按钮。我们将以 Oxylabs 抓取沙盒 为例。
第4步
在你选择的 URL 加载完成后，进入 “Task Settings” 并选择 “Anti-blocking”.
第5步
现在，勾选 通过代理访问网站，启用 使用我自己的代理， 然后点击 “Configure”.
第6步
按钮后，会弹出一个窗口。在 “Configure” 中填写你选择的代理详细信息， IP/host:port:username:password 格式：
住宅与移动代理
IP/主机： pr.oxylabs.io
端口： 7777
用户名： customer-username
密码： 密码
不要忘记添加 customer- 部分到您的用户名中。
数据中心代理
IP/主机： dc.oxylabs.io
端口： 8001
用户名： user-username
密码： 密码
对于 按 IP 计费 在订阅中，端口是分配给给定列表中某个 IP 地址的顺序编号。因此，端口 8001 使用列表中的第一个 IP 地址。
对于 按流量计费 套餐，端口 8001 随机选择一个 IP 地址，但在会话期间保持一致。
独享数据中心代理（企业版）
IP/主机： 特定 IP 地址（例如， 1.2.3.4)
端口： 60000
用户名： 用户名
密码： 密码
独享数据中心代理（自助版）
IP/主机： ddc.oxylabs.io
端口： 8001
用户名： user-username
密码： 密码
不要忘记添加 user- 部分到您的用户名中。
ISP代理
IP/主机： isp.oxylabs.io
端口： 8001
用户名： user-username
密码： 密码
不要忘记添加 user- 部分到您的用户名中。
独享ISP代理
IP/主机: disp.oxylabs.io
端口: 8001
用户名： user-USERNAME
密码： PASSWORD
注意： 别忘了添加 user- 用户名前缀。
第7步
设置 切换 间隔，具体取决于你使用的是轮换会话还是粘性会话类型。
第 8 步
通过点击 “Confirm” 按钮保存更改，然后点击 “Save”.
你的代理现在已设置完成！
如何开始使用 Octoparse 抓取
第 1 步。 选择你要抓取的所需元素（视频游戏标题）。要提取同一类别中的所有元素，请选择 选择所有相似元素 并指定 文本.
第 2 步。 设置分页以抓取多个页面。此网站使用数字分页，因此你需要选择 下一页按钮.
第 3 步。 选择页面布局中打开下一页的具体按钮—— 前进 ——以自动执行分页。
第 4 步。 完成抓取设置并按下 ▶运行.
第 5 步。 选择 在你的设备上运行 并使用 标准模式 ，将数据作为文件接收至你的电脑。
第 6 步。 让抓取过程运行直到完成。当到达最终产品页面或你手动停止它时，过程就结束。
第 7 步。 导出收集到的数据并选择文件格式。
这是电子表格中的最终结果。
就是这样——你已全部设置完成，可以开始专注于使用 Octoparse 执行网页抓取任务了。
最后更新于
这有帮助吗？