LLMs e IA

Encontre guias de scraping do Oxylabs Web Scraper API para os LLMs e plataformas de IA mais populares.

Os scrapers LLM da Oxylabs permitem que você envie prompts para as principais plataformas de IA e receba respostas estruturadas e parseadas. Alvos suportados:

• ChatGPT – fonte: chatgpt
• Gemini – fonte: gemini
• Perplexity – fonte: perplexity

Todos os scrapers LLM & IA dedicados suportam instruções personalizadas do navegador. Saiba mais.

Método de integração

As fontes LLM & IA usam o Push-Pull método de integração. Em vez de manter a conexão aberta até a resposta ficar pronta, você envia um job e coleta o resultado quando ele terminar:

1. Envie o job: envie seu prompt para o endpoint Push-Pull. Você recebe imediatamente um ID do job, não o resultado.
2. Aguarde até terminar: ou deixe que a gente te notifique com callback_url (recomendado), ou verifique o status do job você mesmo.
3. Recupere o resultado: quando o status for done, busque a resposta parseada.

Realtime e Proxy Endpoint não estão disponíveis para chatgpt, gemini, e perplexity fontes. Esses alvos levam mais tempo para concluir do que uma conexão síncrona permite, então Push-Pull é o único método suportado.

Solicitar amostra

Todos os alvos LLM usam praticamente os mesmos parâmetros de solicitação, com a principal diferença no comprimento máximo do prompt.

Envie o payload para o endpoint Push-Pull – veja as páginas individuais de cada alvo para exemplos completos de código.

{
  "source": "chatgpt",
  "prompt": "best supplements for better sleep",
  "parse": true,
  "geo_location": "United States",
  "callback_url": "https://your-server.com/oxylabs-callback"
}

Parâmetro	Descrição	Tipo
source	O alvo LLM a ser extraído. Valores permitidos: chatgpt, perplexity, gemini.	string
prompt	Consulta ou prompt a ser enviado. Comprimento máximo: 4.000 caracteres para chatgpt; 8.000 caracteres para perplexity e gemini.	string
callback_url	Recomendado. URL onde entregamos uma notificação quando o job é concluído, para que você não precise verificar o status por conta própria. Mais informações.	string
parse	Defina como verdadeiro para receber uma resposta JSON estruturada.	booleano
geo_location	Localização geográfica de onde rotear a solicitação (por ex., "Estados Unidos").	string
browser_instructions	Execute instruções personalizadas opcionais do navegador ao renderizar JavaScript. Mais informações.	objeto

- parâmetro obrigatório

Observação: A renderização de JavaScript está habilitada por padrão para todos os alvos LLM. Não inclua render no payload da sua solicitação.

Resposta

Todos os alvos LLM retornam a mesma estrutura de dados de nível superior. (veja as páginas individuais de cada alvo para a referência completa dos campos de resposta).

Enviando o job

O envio retorna os detalhes do job, incluindo o ID que você usará para coletar o resultado. Não não contém os dados extraídos.

Campo	Descrição	Tipo
job.id	Identificador exclusivo do job de scraping. Use isto para recuperar o resultado.	string
job.status	Status atual do job: pendente enquanto ele é executado, done quando o resultado estiver pronto, faulted se falhar (recupere o resultado somente quando o status for done)	string
job.source	Enviado source valor.	string
job.parse	Enviado parse valor.	booleano
job.prompt	Prompt original na solicitação.	string
job.geo_location	Geolocalização usada para a solicitação.	string
job.created_at	Carimbo de data/hora de criação do job (UTC, YYYY-MM-DD HH:MM:SS).	string
job.updated_at	Carimbo de data/hora de atualização do job.	string

Recuperando resultados

Quando o status do job for done, recupere o resultado usando o job.id que você recebeu. O conteúdo parseado específico de cada alvo é encontrado em results[].content (veja as páginas individuais de cada alvo para a referência completa dos campos).

Campo	Descrição	Tipo
results[].job_id	ID do job associado ao resultado.	string
results[].status_code	Código de status HTTP da coleta da página.	integer
results[].url	Página do alvo LLM.	string
results[].content	Dados de resposta do LLM. Os campos variam conforme o alvo.	objeto

Dados de resposta por alvo

A tabela abaixo mostra quais campos de dados estão disponíveis para cada alvo LLM.

	ChatGPT	Gemini	Perplexity
Entrada do prompt	✓	✓	✓
Saída parseada (JSON)	✓	✓	✓
Resposta em texto simples	✓	✓	–
Saída Markdown	✓	✓	✓
Árvore JSON Markdown	✓	–	✓
Pesquisa / consultas relacionadas	✓	–	✓
Citações / fontes	✓	✓	✓
Resultados de compras	✓	–	✓
Anúncios	✓	–	–
Geolocalização	✓	✓	✓
Modelo LLM usado	✓	✓	✓

– condicional, retornado somente quando o conteúdo está na resposta do LLM.