LLMs e IA

Encuentra guías de scraping de Oxylabs Web Scraper API para los LLMs y plataformas de IA más populares.

Los scrapers LLM de Oxylabs te permiten enviar prompts a las principales plataformas de IA y recibir respuestas estructuradas y parseadas. Destinos admitidos:

• ChatGPT – fuente: chatgpt
• Gemini – fuente: gemini
• Perplexity – fuente: perplexity

Todos los scrapers dedicados de LLM e IA admiten instrucciones personalizadas del navegador. Más información.

Solicitar muestra

Todos los destinos LLM usan prácticamente los mismos parámetros de solicitud, con la principal diferencia en la longitud máxima del prompt.

{
  "source": "chatgpt",
  "prompt": "best supplements for better sleep",
  "parse": true,
  "geo_location": "United States"
}

Parámetro	Descripción	Tipo
source	El destino LLM a rastrear. Valores permitidos: chatgpt, perplexity, gemini.	cadena
prompt	Consulta o prompt a enviar. Longitud máxima: 4.000 caracteres para chatgpt; 8.000 caracteres para perplexity y gemini.	cadena
parse	Establécelo en true para recibir una respuesta JSON estructurada.	booleano
geo_location	Ubicación geográfica desde la que enrutar la solicitud (p. ej., "United States").	cadena
browser_instructions	Ejecuta instrucciones personalizadas opcionales del navegador al renderizar JavaScript. Más información.	objeto
callback_url	URL a la que se entregará el resultado al finalizar el trabajo.	cadena

- parámetro obligatorio

Nota: La renderización de JavaScript está habilitada de forma predeterminada para todos los destinos LLM. No incluyas render en tu carga útil de solicitud.

Respuesta

Todos los destinos LLM devuelven la misma estructura de datos de nivel superior. El contenido parseado específico de cada destino se encuentra dentro de results[].content (consulta las páginas individuales de cada destino para ver la referencia completa de campos).

Campo	Descripción	Tipo
job.id	Identificador único del trabajo de scraping.	cadena
job.status	Estado actual del trabajo (p. ej., done).	cadena
job.source	Enviado source valor.	cadena
job.parse	Enviado parse valor.	booleano
job.prompt	Prompt original en la solicitud.	cadena
job.geo_location	Geolocalización usada para la solicitud.	cadena
job.created_at	Marca de tiempo de creación del trabajo (UTC, YYYY-MM-DD HH:MM:SS).	cadena
job.updated_at	Marca de tiempo de actualización del trabajo	cadena
results[].job_id	ID del trabajo asociado con el resultado.	cadena
results[].status_code	Código de estado HTTP de la obtención de la página.	entero
results[].url	Página LLM de destino.	cadena
results[].content	Datos de respuesta LLM. Los campos varían según el destino.	objeto

Datos de respuesta por destino

La tabla siguiente muestra qué campos de datos están disponibles para cada destino LLM.

	ChatGPT	Gemini	Perplexity
Entrada del prompt	✓	✓	✓
Salida parseada (JSON)	✓	✓	✓
Respuesta de texto plano	✓	✓	–
Salida Markdown	✓	✓	✓
Árbol JSON de Markdown	✓	–	✓
Búsqueda / consultas relacionadas	✓	–	✓
Citas / fuentes	✓	✓	✓
Resultados de compra	✓	–	✓
Anuncios	✓	–	–
Geolocalización	✓	✓	✓
Modelo LLM usado	✓	✓	✓

– condicional, devuelto solo cuando el contenido está en la respuesta del LLM.