LlamaIndex

Aprovecha la integración de LlamaIndex con Oxylabs Web Scraper API para ingerir fácilmente contenido en línea y crear flujos de trabajo impulsados por LLM.

La integración de LlamaIndex con la Oxylabs Web Scraper API te permite extraer y procesar datos web a través de un LLM (Large Language Model) en el mismo flujo de trabajo.

Resumen

LlamaIndex es un framework de datos diseñado para crear aplicaciones LLM con fuentes de datos externas. Úsalo con Oxylabs Web Scraper API para:

• Extraer datos estructurados sin manejar CAPTCHAs, bloqueos de IP o renderizado de JS

• Procesar resultados con un LLM en el mismo pipeline

• Crear flujos de trabajo de extremo a extremo desde la extracción hasta la salida impulsada por IA

Primeros pasos

Crea tus credenciales de usuario de API: regístrate para una prueba gratuita o compra el producto en la panel de control de Oxylabs para crear tus credenciales de usuario de API (USERNAME y PASSWORD).

Si necesitas más de un usuario de API para tu cuenta, contacta con nuestro servicio de atención al cliente o envía un mensaje a nuestro soporte de chat en vivo 24/7.

Configuración del entorno

En esta guía usaremos el lenguaje de programación Python. Instala las bibliotecas requeridas usando pip:

pip install -qU llama-index llama-index-readers-oxylabs llama-index-readers-web

Crea un .env archivo en el directorio de tu proyecto con tus credenciales de Oxylabs Web Scraper API y tu clave de API de OpenAI:

OXYLABS_USERNAME=your_API_username
OXYLABS_PASSWORD=your_API_password
OPENAI_API_KEY=your-openai-key

Carga estas variables de entorno en tu script de Python:

import os
from dotenv import load_dotenv

load_dotenv()

Métodos de integración

Hay dos formas de acceder al contenido web a través de Web Scraper API en LlamaIndex:

Oxylabs Reader

La llama-index-readers-oxylabs módulo contiene clases específicas que te permiten extraer datos de varias fuentes:

Fuente de datos de API	Clase Reader
Búsqueda web de Google	OxylabsGoogleSearchReader
Anuncios de búsqueda de Google	OxylabsGoogleAdsReader
Producto de Amazon	OxylabsAmazonProductReader
Búsqueda en Amazon	OxylabsAmazonSearchReader
Reseñas de Amazon	OxylabsAmazonReviewsReader
Transcripción de YouTube	OxylabsYoutubeTranscriptReader

Por ejemplo, puedes extraer resultados de búsqueda de Google:

import os
from dotenv import load_dotenv
from llama_index.readers.oxylabs import OxylabsGoogleSearchReader

load_dotenv()
reader = OxylabsGoogleSearchReader(
    os.getenv('OXYLABS_USERNAME'), os.getenv('OXYLABS_PASSWORD')
)
results = reader.load_data({
    'query': 'best pancake recipe',
    'parse': True
})
print(results[0].text)

Oxylabs Web Reader

Con el OxylabsWebReader class, puedes extraer datos de cualquier URL:

import os
from dotenv import load_dotenv
from llama_index.readers.web import OxylabsWebReader

load_dotenv()
reader = OxylabsWebReader(
    os.getenv('OXYLABS_USERNAME'), os.getenv('OXYLABS_PASSWORD')
)
results = reader.load_data(
    [
        'https://sandbox.oxylabs.io/products/1',
        'https://sandbox.oxylabs.io/products/2'
    ]
)
for result in results:
    print(result.text + '\n')

Construyendo un agente básico de búsqueda con IA

A continuación hay un ejemplo de un agente de IA simple que puede buscar en Google y responder preguntas:

import os
import asyncio
from dotenv import load_dotenv
from llama_index.readers.oxylabs import OxylabsGoogleSearchReader
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai import OpenAI

load_dotenv()
reader = OxylabsGoogleSearchReader(
    os.getenv('OXYLABS_USERNAME'), os.getenv('OXYLABS_PASSWORD')
)

def web_search(query: str) -> str:
    results = reader.load_data({'query': query, 'parse': True})
    return results[0].text

agent = FunctionAgent(
    tools=[web_search],
    llm=OpenAI(model='gpt-4o-mini'),
    max_function_calls=1,
    system_prompt=(
        'Crea una consulta corta de búsqueda en Google para usar con la herramienta `web_search`. '
        'Analiza los resultados más relevantes y responde la pregunta.'
    )
)

async def main():
    response = await agent.run('How did DeepSeek affect the stock market?')
    print(response)

if __name__ == '__main__':
    asyncio.run(main())

Configuración avanzada

Manejo de contenido dinámico

The Web Scraper API can handle JavaScript rendering:

reader = OxylabsWebReader(
    os.getenv('OXYLABS_USERNAME'), os.getenv('OXYLABS_PASSWORD')
)

results = reader.load_data(
    [
        'https://quotes.toscrape.com/js/'
    ],
    {'render': 'html'}
)

Configuración del tipo de user agent

Puedes especificar diferentes user agents:

reader = OxylabsWebReader(
    os.getenv('OXYLABS_USERNAME'), os.getenv('OXYLABS_PASSWORD')
)

results = reader.load_data(
    [
        'https://sandbox.oxylabs.io/products/1'
    ],
    {'user_agent_type': 'mobile'}
)

Uso de parámetros específicos del destino

Muchos scrapers específicos del destino admiten parámetros adicionales:

reader = OxylabsGoogleSearchReader(
    os.getenv('OXYLABS_USERNAME'),
    os.getenv('OXYLABS_PASSWORD')
)
results = reader.load_data({
    'query': 'iphone',
    'parse': True,
    'domain': 'com',
    'start_page': 2,
    'pages': 3
})

Creación de índices vectoriales

LlamaIndex es especialmente útil para crear índices vectoriales a partir de contenido web:

import os
from dotenv import load_dotenv
from llama_index.readers.web import OxylabsWebReader
from llama_index.core import Settings, VectorStoreIndex
from llama_index.llms.openai import OpenAI

load_dotenv()
reader = OxylabsWebReader(
    os.getenv('OXYLABS_USERNAME'), os.getenv('OXYLABS_PASSWORD')
)
documents = reader.load_data([
    'https://sandbox.oxylabs.io/products/1',
    'https://sandbox.oxylabs.io/products/2'
])

# Configura la configuración de LlamaIndex
Settings.llm = OpenAI(model='gpt-4o-mini')

# Crea un índice
index = VectorStoreIndex.from_documents(documents)

# Consulta el índice
query_engine = index.as_query_engine()
response = query_engine.query('What is the main topic of these pages?')
print(response)