OxyCopilot

Automatize o scraping com o OxyCopilot. Aprenda como gerar payloads da Web Scraper API, parsers customizados e instruções de navegador usando prompts simples em linguagem natural.

OxyCopilot é um Web Scraper API recurso gratuito que facilita o onboarding e ajuda os usuários a encontrar soluções eficazes para casos de uso complexos, tudo sem a necessidade de conhecimento em programação. OxyCopilot atualmente inclui três recursos separados:

• Construtor de scraper

• Custom Parser construtor

• Construtor de instruções do navegador

OxyCopilot é acessível no Web Scraper API Playground no painel da Oxylabs.

Construtor de scraper

OxyCopilot ajuda você a configurar um scraper (e formar o payload da requisição) para o Web Scraper API sem precisar entender a documentação ou a lógica dos campos.

Como funciona

Passo 1: Forneça uma URL e um prompt

• URL: Forneça a URL que você deseja rastrear.

• Prompt: Descreva seus requisitos (por exemplo, localização, renderização JS, etc.).

Passo 2: Parsing

Você tem três opções para lidar com o parsing:

1. Custom Parser: Selecione "Add parsing instructions" para criar sua própria lógica de parsing usando o Construtor de Parser Personalizado.

2. Parser Dedicado: Se a URL for de um site para o qual fornecemos um parser dedicado e você quiser usá-lo, selecione "Continue with Dedicated Parser".

3. Sem Parsing: Escolha prosseguir sem parsing se dados estruturados não forem necessários.

Se a URL pertencer a um site para o qual temos um parser dedicado, mas você não precisa de dados estruturados, selecione "Continue with Dedicated Parser" e desative o parâmetro parse nas configurações do playground. Evite usar o botão de sair, pois ele não salvará os parâmetros pré-preenchidos.

Se não tivermos um parser dedicado

Se tivermos um parser dedicado

Passo 3: Revise a requisição

Com base no seu prompt, o OxyCopilot preencherá automaticamente os parâmetros necessários no Web Scraper API Playground. Você verá o código de requisição específico e os parâmetros para seu caso de uso, e poderá ajustar os parâmetros se necessário.

Passo 4: Envie a requisição e copie

Se tudo estiver certo, envie a requisição para ver como o resultado aparece e verifique se funciona conforme o esperado. Em seguida, copie o código da requisição para usar em suas tarefas de scraping com o Web Scraper API.

Exemplo

URL

https://www.amazon.de/s?k=adidas

Prompt

Rastreie a página de busca da Amazon a partir da URL fornecida e localize os resultados para a Polônia.

Parâmetros gerados por IA (JSON)

{
        "source": "amazon_search",
        "query": "adidas",
        "geo_location": "PL",
        "domain": "de"
}

Códigos de requisição gerados por IA

Construtor de Parser Personalizado

Aproveite o Custom Parser recurso com o OxyCopilot para construir um parser sem precisar escrever código ou analisar manualmente a estrutura dos sites.

Como funciona

Passo 1: Forneça URL(s) e um prompt

• URL(s): Você pode fornecer até 3 URLs pelas quais deseja gerar instruções de parsing. OxyCopilot usa o HTML das URLs fornecidas para determinar a melhor lógica para extrair os campos necessários.

Quanto mais URLs você fornecer, mais robustas serão as instruções de parsing, pois o OxyCopilot identifica padrões comuns entre páginas semelhantes. Observe que URLs adicionais podem aumentar o tempo de espera pelos resultados.

• Prompt: O prompt é o componente chave na construção de um esquema em linguagem natural, que serve de base para gerar as instruções reais de parsing. O prompt deve descrever claramente os campos que precisam ser extraídos.

Passo 2 [Opcional]: Ajustar o esquema de parsing

Esta etapa permite que você refine o esquema de parsing para melhor atender às suas necessidades ou solucionar quaisquer problemas.

Visão geral do esquema de parsing

Esta tabela visualiza a entrada usada pela IA para gerar as instruções de parsing. O esquema define quais campos precisam ser extraídos e consiste em vários tipos de objeto (explicados na tabela abaixo).

Cada item no esquema deve ter:

• Nome: Isso será usado como a chave do objeto nas instruções de parsing e será visível nos dados extraídos.

• Descrição (opcional, mas recomendado): Ajuda a melhorar a precisão do parsing.

Ajustes do esquema

• Reordenar itens: Arraste e solte os itens usando os pontos no lado esquerdo para alterar a ordem (somente itens dentro do mesmo nível de aninhamento podem ser movidos).

• Editar itens: Clique no ícone de editar para modificar qualquer campo.

• Excluir itens: Você pode excluir qualquer item no nível pai.

• Adicionar novos itens: Adicione novos itens ao nível pai.

Depois de atualizar o esquema, clique no "Refresh output" botão para regenerar as instruções e visualizar os dados extraídos.

Explicações dos tipos de objeto

Tipo de objeto	Descrição	Exemplo de dados extraídos
String	Uma única saída de texto	“title”: “Example product title”
Número	Um único número	“price”: 9.99
Array de strings	Uma lista de saídas de texto	“products”: [“product 1”, “product 2”, “product 3”]
Array de números	Uma lista de números	“pages”: [1, 2, 3]
Array de objetos	Uma lista de objetos/itens, cada um contendo seus próprios objetos internos (_items bloco nas instruções de parsing)	“related_items”: [ { “title”: “product 1”, “price”: 9.99 }, { “title”: “product 2”, “price”: 15.99 } ]

Trabalhando com array de objetos

1. Selecione "Array of objects": Esta opção adiciona um objeto filho e um botão.

1. Preencha os nomes dos objetos: Para salvar o item no esquema, você deve preencher os nomes dos objetos pai e filho. Depois de feito, a marca de verificação ficará verde.

1. Requisito de objeto filho: Um "Array of objects" deve ter pelo menos um filho.

Testando as instruções

Por padrão, os dados extraídos são baseados na primeira URL fornecida em Passo 1. Você também pode fornecer uma URL diferente para testar as instruções de parsing:

As instruções são geradas com base nas URLs iniciais e não levam em conta as URLs de teste. Editar o prompt ou as URLs redefinirá o esquema, exigindo uma regeneração completa.

Passo 3: Copiar/Salvar instruções e integrar em jobs de scraping

Uma vez que as instruções estejam satisfatórias:

• Use o "Copy" botão para copiar as instruções e colá-las no código do seu scraper.

• Como alternativa, salve as instruções na sua sessão do Web Scraper API Playground, ajuste outros parâmetros da requisição, teste e então copie o código completo da requisição na sua linguagem de programação preferida.

Exemplo

URL

https://sandbox.oxylabs.io/products/1

Prompt

Quero extrair uma página de produto. Os dados extraídos devem incluir os seguintes campos:

- product_title: um campo de texto contendo o título do produto
- price: um campo numérico contendo o preço do produto
- related_products: uma lista contendo os títulos de produtos relacionados exibidos abaixo da informação principal do produto

Esquema de parsing

Tipo de objeto	Nome*	Descrição
String	product_title	Título do produto
Número	preço	Preço do produto
Array de strings	related_products	Títulos de produtos relacionados abaixo da informação principal do produto

Instruções de parsing

{
    "product_title": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//h2[@class=\"title css-1k75zwy e1pl6npa11\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/h2/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/h2/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    },
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//div[@class=\"price css-o7uf8d e1pl6npa6\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/div[4]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/div[4]/text()"
                ]
            },
            {
                "_fn": "amount_from_string"
            }
        ]
    },
    "related_products": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]/a[1]/h4/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div/a[1]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    }
}

Dados extraídos

{
    "price": 91.99,
    "product_title": "The Legend of Zelda: Ocarina of Time",
    "related_products": [
        "The Legend of Zelda: Majora's Mask",
        "Indiana Jones and the Infernal Machine"
    ],
    "parse_status_code": 12000
}

Gerando instruções de parsing via API

Se você deseja gerar muitos conjuntos diferentes de instruções de parsing para cobrir a variedade de sites com os quais trabalha, você pode construir instruções de parsing via API – veja parsing instruction generator API para ver como é feito.

Construtor de instruções do navegador

Você pode usar o OxyCopilot para construir scripts intrincados de interação com páginas sem analisar a estrutura do site ou escrever manualmente a configuração para suas Browser Instructions.

Como funciona

Passo 1: Forneça uma URL e um prompt

• URL: Forneça uma única URL para gerar instruções do navegador. OxyCopilot usa o HTML da URL fornecida para determinar como scriptar as interações da página que você requer.

• Prompt: O prompt é crucial para construir as instruções do navegador. Declare claramente quais ações você gostaria que fossem executadas na página web uma vez aberta (por exemplo: "Role até o fim, espere o botão 'next page' carregar, clique no botão 'next page'").

Passo 2 [Opcional]: Ajustar as instruções do navegador

Esta etapa permite que você refine a sequência de instruções do navegador para melhor atender às suas necessidades ou solucionar quaisquer problemas.

Visão geral das instruções do navegador

Quando o OxyCopilot terminar de processar sua entrada, ele mostrará a sequência de instruções do navegador que criou.

Você pode ajustar a sequência editando, adicionando ou removendo passos.

Passo 3: Copiar/Salvar instruções e integrar em jobs de scraping

Depois que as instruções estiverem satisfatórias, você pode salvar as instruções na sua sessão do Web Scraper API Playground, ajustar outros parâmetros da requisição, testar e então copiar o código completo da requisição na sua linguagem de programação preferida.

Agradecemos seu feedback e sugestões de melhoria. Por favor, não hesite em entrar em contato conosco em [email protected] ou conectar-se com nosso suporte ao vivo 24/7.