# Octoparse

[**Octoparse**](https://www.octoparse.com/) é uma ferramenta de extração de dados. Ela permite fazer scraping de dados públicos sem codificação e contornar a maioria dos mecanismos anti-scraping ao habilitar a rotação automática de IP e o tempo de sessão estendido.

Para integrar o Octoparse com os ISP Proxies da Oxylabs, siga os passos simples abaixo:

**Etapa 1.** [**Baixe**](https://www.octoparse.com/download/mac), instale e depois abra o Octoparse.

**Etapa 2.** Crie uma nova tarefa clicando no botão **+New** no canto superior esquerdo e escolhendo **Custom Task.**

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FOASotcWXDgZc9Zf0adBf%2Fimage.png?alt=media&#x26;token=c801d381-0359-41c9-9354-3722a7bd980f" alt=""><figcaption></figcaption></figure>

**Etapa 3.** Digite a URL da página da qual você pretende extrair dados em **URL Input** e clique no botão **Save** Vamos usar [**Oxylabs scraping sandbox**](https://sandbox.oxylabs.io/products/category/pc) como exemplo.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FjcshbPydXM2kuVWyX7aS%2Fimage.png?alt=media&#x26;token=771cab36-7a87-4732-834c-68f5273a60ae" alt=""><figcaption></figcaption></figure>

**Etapa 4.** Depois que a URL selecionada carregar, vá para **Task Settings** **>** **Anti-blocking**.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FbR9HzXGrZaI4b6kQxoX8%2Fimage.png?alt=media&#x26;token=a596d0f0-e129-465a-81c1-18f3e5426773" alt=""><figcaption></figcaption></figure>

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FBrIykjKRGnuhvocBIhkF%2Fimage.png?alt=media&#x26;token=74658860-820a-4ba9-a69b-a40bd654764c" alt=""><figcaption></figcaption></figure>

**Etapa 5.** Agora, marque **Access websites via proxies**, ative **Use my own proxies,** e clique em **Configure**.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FY7vAMQj9IgqsXBc6wedz%2Fimage.png?alt=media&#x26;token=e1545490-f2ec-4e1a-a8f0-9ecebf3b0f95" alt=""><figcaption></figcaption></figure>

**Etapa 6.** Quando você clicar no botão **Configure** , uma janela pop-up aparecerá. Especifique os detalhes do proxy no seguinte formato: `IP/host:porta:nome de usuário:senha`.

Para ISP Proxies, você pode usar:&#x20;

**IP/host:** `isp.oxylabs.io`

**Porta:** `8001`

{% hint style="info" %}
Você precisará escolher a porta atribuída a um endereço IP do [**lista de proxies**](https://developers.oxylabs.io/proxies/isp-proxies/proxy-list)**,** adquirido, que você pode encontrar no painel da Oxylabs. A `8001` porta selecionará o primeiro endereço IP da sua lista para todas as solicitações.
{% endhint %}

**Nome de usuário:** `user-username`

**Senha:** `password`

{% hint style="warning" %}
Não se esqueça de adicionar a parte `user-` ao seu nome de usuário.
{% endhint %}

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FYyGa9a3lSjfBvzgYhw8Z%2Foctoparse_isp.png?alt=media&#x26;token=aa32787b-9abf-4368-9cb4-9ca9d29bcb09" alt=""><figcaption></figcaption></figure>

**Etapa 7.** Configure o intervalo de **Switch** dependendo de você usar um tipo de sessão rotativa ou persistente.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FZkDFgfJjw24p7ulqOi6Y%2Fimage.png?alt=media&#x26;token=112fa9c5-aa39-4b88-98c8-34a4a0bc44f4" alt=""><figcaption></figcaption></figure>

**Etapa 8.** Salve as alterações clicando no botão **Confirm** e depois disso, clique em **Save**.

Os proxies agora estão configurados.

### Como começar a fazer scraping usando o Octoparse

**Etapa 1.** Selecione os elementos desejados (títulos de videogames) que você quer fazer scraping. Para extrair todos os elementos da mesma categoria, escolha **Selecionar todos os elementos semelhantes** e especifique **Texto**.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FfyDOxHF9Rwiykgaqq39J%2Fimage.png?alt=media&#x26;token=bb062011-d5f8-43f2-a657-c40757a633e7" alt=""><figcaption></figcaption></figure>

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FyWKGstGkoyJxCGz3fv3h%2Fimage.png?alt=media&#x26;token=586b6537-0670-4575-b2ef-4ff464253263" alt=""><figcaption></figcaption></figure>

**Etapa 2.**  Configure a paginação para fazer scraping de várias páginas. Este site específico usa páginas numeradas, solicitando que você escolha **Botão da próxima página**.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FsavnBgJZHBfLkLZKlUEn%2Fimage.png?alt=media&#x26;token=1e3789ae-dc17-4fa4-86d6-965e30b35f99" alt=""><figcaption></figcaption></figure>

**Etapa 3.** Escolha o botão exato no layout da página que abre a página seguinte – **Forward** – para automatizar a paginação.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FFvu6T1cOoHvwgpej0ew9%2Fimage.png?alt=media&#x26;token=eccfb543-ac52-4d7c-b0f8-517c5ef98cae" alt=""><figcaption></figcaption></figure>

**Etapa 4.** Conclua a configuração do scraping e pressione **▶Run**.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FS0ymvWpg7l76UMre1wLj%2Fimage.png?alt=media&#x26;token=1dd1e7a2-ae2e-4a12-8fea-6310f55a5ca0" alt=""><figcaption></figcaption></figure>

**Etapa 5.** Escolha **Executar no seu dispositivo** com **Standard Mode** para receber os dados como um arquivo no seu PC.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2Fr0GbumJhU3B03PYHDHz0%2Fimage.png?alt=media&#x26;token=ba9ca5c8-1c7c-499a-b863-5122e73977d9" alt=""><figcaption></figcaption></figure>

**Etapa 6.** Deixe o processo de scraping rodar até concluir. O processo terminará quando a página final do produto for alcançada ou quando você o interromper manualmente.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FSxs5Q8lqzG1TIBP3UxmR%2Fimage.png?alt=media&#x26;token=4ea023cf-9f09-49d4-8c02-bba1a02f9b5f" alt=""><figcaption></figcaption></figure>

**Etapa 7.** Extraia os dados coletados e selecione o formato do arquivo.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FmbyRXUBbO5NeshJPmhEq%2Fimage.png?alt=media&#x26;token=7efc381e-166d-4050-85e2-555720a33efc" alt=""><figcaption></figcaption></figure>

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FBLNiM8AtJmcGhIIIfEzP%2Fimage.png?alt=media&#x26;token=0d06e382-e5f5-4ed1-bb69-e1b4de2106b8" alt=""><figcaption></figcaption></figure>

Aqui está o resultado final em uma planilha.

<figure><img src="https://1214208351-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FzrXw45naRpCZ0Ku9AjY1%2Fuploads%2FTayQvSsNcuJcQr8lQAD1%2Fimage.png?alt=media&#x26;token=895acab6-2253-4509-99ac-569253e483f0" alt=""><figcaption></figcaption></figure>

É isso – tudo está configurado e você está pronto para se concentrar nas suas tarefas de web scraping com o Octoparse.