> For the complete documentation index, see [llms.txt](https://developers.oxylabs.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://developers.oxylabs.io/products/pt-br/ai-studio/ai-crawler.md).
# AI-Crawler
Saiba como rastrear um site a partir de uma URL, encontrar páginas relevantes e extrair dados — tudo guiado pelo seu prompt em linguagem natural.
## Visão geral
[**AI-Crawler**](https://aistudio.oxylabs.io/apps/crawl) é um aplicativo de extração de dados que usa algoritmos avançados de IA para rastrear um domínio fornecido. Ele identifica páginas relevantes com base em um prompt em linguagem natural e extrai conteúdo estruturado **JSON** ou **Markdown** de saída.
Esta ferramenta low-code foi projetada para simplificar tarefas complexas de aquisição de dados, permitindo que desenvolvedores e cientistas de dados se concentrem na análise em vez de criar e manter web scrapers personalizados. O rastreador web de IA oferece filtragem avançada, análise baseada em esquema e integração perfeita com vários pipelines de automação.
Você pode visualizar a ferramenta [**aqui**](https://aistudio.oxylabs.io/apps/crawl) e integrá-la aos seus fluxos de trabalho por meio dos nossos SDKs Python/JavaScript, servidor MCP ou uma de nossas integrações de terceiros.
## Principais recursos
* **Inicie um crawl a partir de qualquer URL fornecida:** Comece a extração de dados a partir de qualquer endereço web válido usando o rastreador de IA como ponto de partida.
* **Prompt em linguagem natural:** Defina suas necessidades de dados em inglês simples, e o agente de crawl interpretará o prompt para encontrar conteúdo relevante.
* **Seleção de URL assistida por IA:** O rastreador web de IA explora o site de forma inteligente, identificando e priorizando as páginas mais alinhadas ao seu prompt.
* **Múltiplos formatos de saída:** Escolha entre JSON estruturado ou Markdown para integração perfeita em fluxos de automação ou IA.
* **Análise baseada em esquema:** Para saída em JSON, você pode definir um esquema de análise em linguagem natural para garantir que os dados extraídos sejam estruturados para se adequar à sua aplicação.
## Uso
Para começar com o AI Crawler, siga este processo de quatro etapas:
1. **Forneça uma URL inicial** do site que você quer que o rastreador web explore.
2. **Descreva o conteúdo** que você quer recuperar usando um prompt em linguagem natural para o agente de crawl.
3. **Selecione o formato de saída.** Escolha entre JSON estruturado ou Markdown.
4. **Se estiver usando saída em JSON,** forneça um esquema para orientar o rastreador web de IA na análise e estruturação dos dados extraídos.
### Instalação
Para começar, certifique-se de que você tem acesso a uma chave de API (ou [obtenha uma avaliação gratuita](https://aistudio.oxylabs.io/register) com **1.000 créditos**) e `Python 3.10+` instalado. Você pode instalar o `oxylabs-ai-studio` pacote usando pip:
```sh
pip install oxylabs-ai-studio
```
### Exemplos de código (Python)
Os exemplos a seguir demonstram como usar o `AiCrawler` para realizar tarefas comuns de crawl.
```python
from oxylabs_ai_studio.apps.ai_crawler import AiCrawler
import json
# Inicialize o AI Crawler com sua chave de API
crawler = AiCrawler(api_key="your_api_key")
# Gere um esquema automaticamente a partir de linguagem natural
schema = crawler.generate_schema(prompt="want to parse name, platform, price")
print(f"Generated schema: {schema}")
# Rastreie um site e extraia dados estruturados
url = "https://sandbox.oxylabs.io/products"
result = crawler.crawl(
url=url,
user_prompt="Find all Halo games for Xbox",
output_format="json",
schema=schema,
render_javascript=False,
return_sources_limit=3,
geo_location="US",
)
# Imprima a saída do crawl como JSON
print("Results:")
print(json.dumps(result.data, indent=2))
```
Saiba mais sobre AI-Crawler e o SDK Python da Oxylabs AI Studio em nosso [repositório PyPI](https://pypi.org/project/oxylabs-ai-studio/). Você também pode conferir nosso [SDK JavaScript da AI Studio](https://github.com/oxylabs/oxylabs-ai-studio-js) guia para usuários de JS.
### Parâmetros da requisição
| Parâmetro | Descrição | Valor padrão |
| ---------------------------------------------------------- | ----------------------------------------------------------------- | ------------ |
| `url` | URL inicial a ser rastreada | – |
| `user_prompt` | Prompt em linguagem natural para orientar a extração | – |
| `output_format` | Formato de saída (`JSON`, `markdown`) | `markdown` |
| `schema` | Esquema OpenAPI para extração estruturada (obrigatório para JSON) | – |
| `render_javascript` | Ativar renderização de JavaScript | `False` |
| `return_sources_limit` | Número máximo de fontes a retornar | `25` |
| `geo_location` | Localização do proxy no formato ISO2 | – |
– parâmetros obrigatórios
#### Exemplos de saída
`AI-Crawler` pode retornar saída analisada e pronta para uso, fácil de integrar em seus aplicativos.
Veja como é a saída em JSON:
```json
[
{
"data": {
"items": [
{
"name": "Halo: Reach",
"platform": "Xbox platform",
"price": 84.99
}
]
},
"src": "https://sandbox.oxylabs.io/products/141"
},
{
"data": {
"items": [
{
"name": "Halo 3",
"platform": "Xbox platform",
"price": 81.99
}
]
},
"src": "https://sandbox.oxylabs.io/products/28"
},
{
"data": {
"items": [
{
"name": "Halo: Combat Evolved",
"platform": "Xbox platform",
"price": 87.99
}
]
},
"src": "https://sandbox.oxylabs.io/products/6"
}
]
```
Alternativamente, você pode usar `output_format=”markdown”` para receber resultados em Markdown em vez de JSON analisado.
### Casos de uso práticos
AI-Crawler é uma ferramenta versátil para uma ampla gama de aplicações, incluindo:
1. **Encontrar páginas de termos de serviço:** Localize rapidamente páginas legais e de políticas em um domínio.
2. **Coletar páginas de preços:** Reúna detalhes de preços para análise da concorrência ou pesquisa de mercado.
3. **Recuperar todas as páginas “Sobre”:** Encontre e extraia automaticamente informações da empresa de uma lista de sites.
4. **Listar artigos de notícias relacionados à IA:** Faça o scraping de um site de notícias para reunir e arquivar artigos sobre um tópico específico.
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://developers.oxylabs.io/products/pt-br/ai-studio/ai-crawler.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.