Custom Parser

Veja os passos para começar rapidamente com o Custom Parser da Oxylabs.

Custom Parser é um recurso gratuito do Web Scraper API que permite que você crie lógica de parsing e processamento de dados que é executada em um resultado HTML bruto. Você pode gerar parsers automaticamente usando IA ou escrevê-los manualmente para cenários avançados.

Para instruções e exemplos detalhados, consulte estas páginas:

Como começar Gerando parsers via API Presets de parser

Escrevendo instruções manualmente Lista de funções de parsing

---

Início rápido

1. Gere um parser

Recomendamos começar com nossa ferramenta com IA OxyCopilot que permite gerar scrapers e parsers sem escrever nenhum código.

Para acessar o OxyCopilot, faça login no dashboard da Oxylabs e selecione Scraper APIs Playground no menu lateral esquerdo.

Siga as etapas mostradas no vídeo para gerar um parser:

Aqui estão as mesmas etapas mostradas no vídeo:

1. Insira a(s) URL(s) que você deseja extrair e processar
2. Especifique quaisquer parâmetros como renderização de JavaScript
3. Escreva um prompt que descreva o que você deseja processar
4. Executar OxyCopilot

Quando estiver satisfeito com o parser gerado, carregue as instruções.

2. Salve o parser como um preset

Você pode salvar facilmente os parsers gerados por meio do OxyCopilot para uso posterior. Veja as etapas abaixo:

1. Atribua o preset a um usuário específico da API
2. Clique em Salvar
3. Digite o nome do preset e a descrição (opcional)

Depois de salvar o preset, você pode usá-lo com solicitações da API.

Um preset recém-criado pode levar até cerca de um minuto para ficar disponível para trabalhos de scraping tanto em Realtime quanto em Push-Pull. Até lá, as solicitações que o referenciam são rejeitadas com 400 - O parser_preset fornecido não existe.

3. Use o parser com solicitações da API

Para usar seu preset com o Web Scraper API, envie um payload com o parâmetro parser_preset definido como o nome do seu preset. Nos exemplos de código abaixo, estamos reutilizando o preset example_parser criado nas etapas anteriores.

cURL

curl 'https://realtime.oxylabs.io/v1/queries' \
--user 'USERNAME:PASSWORD' \
-H 'Content-Type: application/json' \
-d '{
        "source": "universal",
        "url": "https://example.com/",
        "parse": true,
        "parser_preset": "example_parser"
    }'

Python

import requests
from pprint import pprint


# Set the parser preset to use.
payload = {
    'source': 'universal',
    'url': 'https://example.com/',
    'parse': True,
    'parser_preset': 'example_parser'
}

# Get a response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload
)

# Print prettified response to stdout.
pprint(response.json())

Node.js

const https = require("https");

const username = "USERNAME";
const password = "PASSWORD";
const body = {
    source: "universal",
    url: "https://example.com/",
    parse: true,
    parser_preset: "example_parser"
};

const options = {
    hostname: "realtime.oxylabs.io",
    path: "/v1/queries",
    method: "POST",
    headers: {
        "Content-Type": "application/json",
        Authorization:
            "Basic " + Buffer.from(`${username}:${password}`).toString("base64"),
    },
};

const request = https.request(options, (response) => {
    let data = "";

    response.on("data", (chunk) => {
        data += chunk;
    });

    response.on("end", () => {
        const responseData = JSON.parse(data);
        console.log(JSON.stringify(responseData, null, 2));
    });
});

request.on("error", (error) => {
    console.error("Error:", error);
});

request.write(JSON.stringify(body));
request.end();

HTTP

# A string inteira que você enviar precisa estar codificada em URL.

https://realtime.oxylabs.io/v1/queries?source=universal&url=https%3A%2F%2Fexample.com%2F&parse=true&parser_preset=example_parser&access_token=12345abcde

PHP

<?php

$params = array(
    'source' => 'universal',
    'url' => 'https://example.com/',
    'parse' => true,
    'parser_preset' => 'example_parser'
);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://realtime.oxylabs.io/v1/queries");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_USERPWD, "USERNAME" . ":" . "PASSWORD");

$headers = array();
$headers[] = "Content-Type: application/json";
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
echo $result;

if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

Golang

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	const Username = "USERNAME"
	const Password = "PASSWORD"

	payload := map[string]interface{}{
		"source": "universal",
		"url": "https://example.com/",
		"parse": true,
		"parser_preset": "example_parser",
	}

	jsonValue, _ := json.Marshal(payload)

	client := &http.Client{}
	request, _ := http.NewRequest("POST",
		"https://realtime.oxylabs.io/v1/queries",
		bytes.NewBuffer(jsonValue),
	)

	request.SetBasicAuth(Username, Password)
	response, _ := client.Do(request)

	responseText, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(responseText))
}

C#

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Net.Http.Json;
using System.Threading.Tasks;

namespace OxyApi
{
    class Program
    {
        static async Task Main()
        {
            const string Username = "USERNAME";
            const string Password = "PASSWORD";

            var parameters = new {
                source = "universal",
                url = "https://example.com/",
                parse = true,
                parser_preset = "example_parser"
            };

            var client = new HttpClient();

            Uri baseUri = new Uri("https://realtime.oxylabs.io");
            client.BaseAddress = baseUri;

            var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/queries");
            requestMessage.Content = JsonContent.Create(parameters);

            var authenticationString = $"{Username}:{Password}";
            var base64EncodedAuthenticationString = Convert.ToBase64String(System.Text.ASCIIEncoding.UTF8.GetBytes(authenticationString));
            requestMessage.Headers.Add("Authorization", "Basic " + base64EncodedAuthenticationString);

            var response = await client.SendAsync(requestMessage);
            var contents = await response.Content.ReadAsStringAsync();

            Console.WriteLine(contents);
        }
    }
}

Java

package org.example;

import okhttp3.*;
import org.json.JSONObject;
import java.util.concurrent.TimeUnit;

public class Main implements Runnable {
    private static final String AUTHORIZATION_HEADER = "Authorization";
    public static final String USERNAME = "USERNAME";
    public static final String PASSWORD = "PASSWORD";

    public void run() {
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("source", "universal");
        jsonObject.put("url", "https://example.com/");
        jsonObject.put("parse", true);
        jsonObject.put("parser_preset", "example_parser");

        Authenticator authenticator = (route, response) -> {
            String credential = Credentials.basic(USERNAME, PASSWORD);
            return response
                    .request()
                    .newBuilder()
                    .header(AUTHORIZATION_HEADER, credential)
                    .build();
        };

        var client = new OkHttpClient.Builder()
                .authenticator(authenticator)
                .readTimeout(180, TimeUnit.SECONDS)
                .build();

        var mediaType = MediaType.parse("application/json; charset=utf-8");
        var body = RequestBody.create(jsonObject.toString(), mediaType);
        var request = new Request.Builder()
                .url("https://realtime.oxylabs.io/v1/queries")
                .post(body)
                .build();

        try (var response = client.newCall(request).execute()) {
            if (response.body() != null) {
                try (var responseBody = response.body()) {
                    System.out.println(responseBody.string());
                }
            }
        } catch (Exception exception) {
            System.out.println("Error: " + exception.getMessage());
        }

        System.exit(0);
    }

    public static void main(String[] args) {
        new Thread(new Main()).start();
    }
}

JSON

{
    "source": "universal",
    "url": "https://example.com/",
    "parse": true,
    "parser_preset": "example_parser"
}

Exemplo de saída

{
  "results": [
    {
      "_request": {...},
      "_response": {...},
      "content": {
        "parse_status_code": 12000,
        "title": "Example Domain"
      },
      "created_at": "2026-09-08 08:26:26",
      "is_render_forced": false,
      "job_id": "7503005818992731137",
      "page": 1,
      "parser_preset": "example_parser",
      "parser_type": "preset",
      "session_info": {...},
      "status_code": 200,
      "type": "parsed",
      "updated_at": "2026-09-08 08:26:26",
      "url": "https://example.com/"
    }
  ]
}

Obtendo o conteúdo HTML de um job processado

Um job processado também pode retornar o HTML bruto de onde foi processado: adicione o type parâmetro de consulta com raw (ou parsed,raw para ambos) ao endpoint Realtime ou à URL de resultado do Push-Pull. Veja Saída em múltiplos formatos.