OxyCopilot

Automatize scraping com OxyCopilot. Aprenda a gerar payloads da Web Scraper API, parsers personalizados e instruções de navegador usando prompts simples em linguagem natural.

OxyCopilot é um recurso gratuito Web Scraper API recurso que facilita a integração e ajuda os usuários a encontrar soluções eficazes para casos de uso complexos, tudo sem a necessidade de conhecimento em programação. OxyCopilot atualmente inclui três recursos separados:

• Construtor de scrapers
• Custom Parser construtor
• Construtor de instruções do navegador

OxyCopilot está disponível no Web Scraper API Playground no painel da Oxylabs.

Construtor de scrapers

OxyCopilot ajuda você a configurar um scraper (e formar o payload da requisição) para a Web Scraper API sem precisar entender a documentação ou a lógica dos campos.

Como funciona

Etapa 1: Forneça uma URL e um prompt

• URL: Forneça a URL que você deseja fazer scrape.
• Prompt: Descreva seus requisitos (por exemplo, localização, renderização de JS, etc.).

Etapa 2: Parsing

Você tem três opções para lidar com o parsing:

1. Custom Parser: Selecione "Add parsing instructions" para criar sua própria lógica de parsing usando o construtor do Custom Parser.
2. Parser dedicado: Se a URL for de um site para o qual fornecemos um parser dedicado e você quiser usá-lo, selecione "Continuar com o Parser dedicado".
3. Sem parsing: Escolha prosseguir sem parsing se não for necessário dados estruturados.

Se a URL pertencer a um site para o qual temos um parser dedicado, mas você não precisar de dados estruturados, selecione "Continuar com o Parser dedicado" e desative o parâmetro parse nas configurações do playground. Evite usar o botão de sair, pois ele não salvará os parâmetros pré-preenchidos.

Se não tivermos um parser dedicado

Se tivermos um parser dedicado

Etapa 3: Revise a requisição

Com base no seu prompt, OxyCopilot preencherá previamente os parâmetros necessários no Web Scraper API Playground. Você verá o código da requisição específico e os parâmetros para seu caso de uso, e poderá ajustar os parâmetros se necessário.

Etapa 4: Envie a requisição e copie

Se tudo parecer bom, envie a requisição para ver como a saída fica e verificar se funciona como esperado. Depois, copie o código da requisição para usá-lo em outras tarefas de scraping com a Web Scraper API.

Exemplo

URL

https://www.amazon.de/s?k=adidas

Prompt

Faça scrape da página de busca da Amazon na URL fornecida e localize os resultados para a Polônia.

Parâmetros gerados por IA (JSON)

{
        "source": "amazon_search",
        "query": "adidas",
        "geo_location": "PL",
        "domain": "de"
}

Códigos de requisição gerados por IA

construtor do Custom Parser

Aproveite o Custom Parser recurso com OxyCopilot para criar um parser sem precisar escrever código ou analisar manualmente a estrutura do site.

Como Funciona

Etapa 1: Forneça URL(s) e prompt

• URL(s): Você pode fornecer até 3 URLs para as quais você deseja gerar instruções de parsing. OxyCopilot usa o HTML das URLs fornecidas para determinar a melhor lógica para extrair os campos necessários.

Quanto mais URLs você fornecer, mais robustas serão as instruções de parsing, pois OxyCopilot identifica padrões comuns entre páginas semelhantes. Observe que URLs adicionais podem aumentar o tempo de espera pelos resultados.

• Prompt: O prompt é o componente principal na criação de um esquema em linguagem natural, que serve de base para gerar as instruções de parsing reais. O prompt deve descrever claramente os campos que precisam ser extraídos.

Etapa 2 [Opcional]: Ajuste o esquema de parsing

Esta etapa permite refinar o esquema de parsing para atender melhor às suas necessidades ou diagnosticar quaisquer problemas.

Visão geral do esquema de parsing

Esta tabela visualiza a entrada usada pela IA para gerar instruções de parsing. O esquema define quais campos precisam ser extraídos e consiste em vários tipos de objeto (explicados na tabela abaixo).

Cada item no esquema deve ter:

• Nome: Isso será usado como a chave do objeto nas instruções de parsing e ficará visível nos dados extraídos.
• Descrição (opcional, mas recomendado): Ajuda a melhorar a precisão do parsing.

Ajustes no esquema

• Reordenar itens: Arraste e solte os itens usando os pontos no lado esquerdo para mudar a ordem deles (apenas itens no mesmo nível de aninhamento podem ser movidos).
• Editar itens: Clique no ícone de edição para modificar qualquer campo.
• Excluir itens: Você pode excluir qualquer item no nível pai.
• Adicionar novos itens: Adicione novos itens ao nível pai.

Depois de atualizar o esquema, clique no "Atualizar saída" botão para regenerar as instruções e visualizar os dados extraídos.

Explicações dos tipos de objeto

Tipo de objeto	Descrição	Exemplo de dados extraídos
Cadeia de texto	Uma única saída de texto	“title”: “Example product title”
Número	Um único número	“price”: 9.99
Array de strings	Uma lista de saídas de texto	“products”: [“product 1”, “product 2”, “product 3”]
Array de números	Uma lista de números	“pages”: [1, 2, 3]
Array de objetos	Uma lista de objetos/itens, cada um com seus próprios objetos internos (_items bloco nas instruções de parsing)	“related_items”: [ { “title”: “product 1”, “price”: 9.99 }, { “title”: “product 2”, “price”: 15.99 } ]

Trabalhando com array de objetos

1. Selecione "Array de objetos": Esta opção adiciona um objeto filho e botão.

1. Preencha os nomes dos objetos: Para salvar o item no esquema, você deve preencher os nomes dos objetos pai e filho. Depois disso, a marca de verificação ficará verde.

1. Exigência do objeto filho: Um "Array de objetos" deve ter pelo menos um filho.

Testando as instruções

Por padrão, os dados extraídos são baseados na primeira URL fornecida na Etapa 1. Você também pode fornecer uma URL diferente para testar as instruções de parsing:

As instruções são geradas com base nas URLs iniciais e não consideram as URLs de teste. Editar o prompt ou as URLs redefinirá o esquema, exigindo uma regeneração completa.

Etapa 3: Copiar/Salvar instruções e integrar nos trabalhos de scraping

Depois que as instruções estiverem satisfatórias:

• Use o "Copiar" botão para copiar as instruções e colá-las no código do seu scraper.
• Como alternativa, salve as instruções na sua sessão do Web Scraper API Playground, ajuste outros parâmetros da requisição, teste e depois copie o código completo da requisição na sua linguagem de programação preferida.

Exemplo

URL

https://sandbox.oxylabs.io/products/1

Prompt

Quero extrair uma página de produto. Os dados extraídos devem incluir os seguintes campos:

- product_title: um campo de texto contendo o título do produto
- price: um campo numérico contendo o preço do produto
- related_products: uma lista contendo os títulos de produtos relacionados exibidos abaixo das informações principais do produto

Esquema de parsing

Tipo de objeto	Nome*	Descrição
Cadeia de texto	product_title	Título do produto
Número	price	Preço do produto
Array de strings	related_products	Títulos de produtos relacionados abaixo das informações principais do produto

Instruções de parsing

{
    "product_title": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//h2[@class=\"title css-1k75zwy e1pl6npa11\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/h2/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/h2/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    },
    "price": {
        "_fns": [
            {
                "_fn": "xpath_one",
                "_args": [
                    "//div[@class=\"price css-o7uf8d e1pl6npa6\"]/text()",
                    "//div[@class=\"product-info-wrapper css-m2w3q2 emlf3670\"]/div[4]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[1]/div[2]/div[2]/div[4]/text()"
                ]
            },
            {
                "_fn": "amount_from_string"
            }
        ]
    },
    "related_products": {
        "_fns": [
            {
                "_fn": "xpath",
                "_args": [
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]/a[1]/h4/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div/a[1]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div/a[1]/h4/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div/div[@class=\"product-card css-e8at8d eag3qlw10\"]//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//h4[@class=\"title css-7u5e79 eag3qlw7\"]/text()",
                    "//div[@id=\"__next\"]/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//div[@class=\"related-products css-1rinft1 emlf3670\"]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()",
                    "//html[@lang=\"en\"]/body/div/main/div/div/div/div[2]/div[2]/div//a[@class=\"card-header css-o171kl eag3qlw2\"]/h4/text()"
                ]
            },
            {
                "_fn": "regex_search",
                "_args": [
                    "^\\s*(.[\\s\\S]*?)\\s*$",
                    1
                ]
            }
        ]
    }
}

Dados extraídos

{
    "price": 91.99,
    "product_title": "The Legend of Zelda: Ocarina of Time",
    "related_products": [
        "The Legend of Zelda: Majora's Mask",
        "Indiana Jones and the Infernal Machine"
    ],
    "parse_status_code": 12000
}

Gerando instruções de parsing via uma API

Se você quiser gerar muitos conjuntos diferentes de instruções de parsing para cobrir a variedade de sites com os quais trabalha, você pode criar instruções de parsing via uma API – veja API geradora de instruções de parsing para ver como é feito.

Construtor de instruções do navegador

Você pode usar OxyCopilot para criar scripts complexos de interação com páginas sem analisar a estrutura do site ou escrever manualmente a configuração das suas Instruções do navegador.

Como Funciona

Etapa 1: Forneça uma URL e um prompt

• URL: Forneça uma única URL para gerar instruções do navegador. OxyCopilot usa o HTML da URL fornecida para determinar como scriptar as interações da página da web que você precisa.
• Prompt: O prompt é crucial para criar as instruções do navegador. Indique claramente quais ações você gostaria que fossem executadas na página da web depois que ela abrir (por exemplo, "Role até o final, aguarde o botão 'próxima página' carregar, clique no botão 'próxima página'").

Etapa 2 [Opcional]: Ajuste as instruções do navegador

Esta etapa permite refinar a sequência de instruções do navegador para atender melhor às suas necessidades ou diagnosticar quaisquer problemas.

Visão geral das instruções do navegador

Depois que OxyCopilot terminar de processar sua entrada, ele mostrará a sequência de instruções do navegador que criou.

Você pode ajustar a sequência editando, adicionando ou removendo etapas.

Etapa 3: Copiar/Salvar instruções e integrar nos trabalhos de scraping

Depois que as instruções estiverem satisfatórias, você pode salvá-las na sua sessão do Web Scraper API Playground, ajustar outros parâmetros da requisição, testar e depois copiar o código completo da requisição na sua linguagem de programação preferida.

Agradecemos seu feedback e sugestões de melhoria. Não hesite em entrar em contato conosco em [e-mail] ou se conectar com nosso suporte de chat ao vivo 24/7.