Guia de scraping para IA

Aprenda a obter dados do YouTube para treinamento de IA usando Web Scraper API. Saiba mais sobre o fluxo de trabalho completo, da busca por vídeos à criação de um banco de dados.

Este guia orientará você sobre o fluxo de trabalho para coletar e filtrar dados do YouTube para fins de treinamento de IA usando fontes especializadas da Web Scraper API: youtube_search, youtube_video_trainability, youtube_metadata, youtube_download, youtube_subtitles.

Etapa 1: Pesquisar vídeos

Comece pesquisando vídeos relacionados ao seu tópico de interesse.

Pesquisa básica

Para uma pesquisa rápida que retorna até 20 resultados:

{
  "source": "youtube_search",
  "query": "your search term"
}

Pesquisa estendida

Para resultados mais abrangentes (até 700 resultados):

{
  "source": "youtube_search_max",
  "query": "your search term"
}

Pesquisar com filtros

Refine sua pesquisa com filtros:

{
  "source": "youtube_search",
  "query": "your search term",
  "type": "video",
  "duration": "4-20",
  "upload_date": "this_month",
  "sort_by": "view_count",
  "hd": true
}

Use os filtros apropriados para restringir os resultados com base nas suas necessidades específicas. As opções incluem tipo de conteúdo (vídeo, canal, playlist), duração, data de envio e configurações de qualidade.

Etapa 2: Extrair IDs de vídeo dos resultados da pesquisa

Após receber os resultados da pesquisa, extraia os IDs de vídeo para processamento adicional. Na resposta de youtube_search ou youtube_search_max, os IDs de vídeo estão disponíveis diretamente no videoId campo de cada item de resultado, como mostrado neste trecho de resposta de exemplo:

{
    "results": [
        {
            "content": [
                {
                    "videoId": "LK9XuImr8Xg",  // This is the video ID you need
                    "thumbnail": {
                        "thumbnails": [
                            {
                                "url": "https://i.ytimg.com/vi/LK9XuImr8Xg/hq720_2.jpg?sqp=-oaymwE2COgCEMoBSFXyq4qpAygIARUAAIhCGABwAcABBvABAfgBtgiAAoAPigIMCAAQARhaIGUoLTAP&rs=AOn4CLDTvqEgoE2ZNfnn3EalF2ujcthVNw",
                                "width": 360,
                                "height": 202
                            }
                        ]
                    },
                    "title": {
                        // title details
                    }
                }
            ]
        }
    ]
}

Extraia esses IDs de vídeo em uma lista para uso em chamadas de API subsequentes.

Etapa 3: Verificar a elegibilidade para treinamento de IA

Antes de baixar ou usar vídeos para treinamento de IA, verifique a elegibilidade deles:

{
  "source": "youtube_video_trainability",
  "video_id": "rFNDylrjn_w"
}

A resposta indicará se o vídeo pode ser usado para fins de treinamento de IA:

• ["all"] - Treinamento permitido para todas as partes
• ["none"] - Nenhum treinamento permitido para qualquer parte
• ["party1", "party2", ...] - Treinamento permitido apenas para partes específicas

Etapa 4: Obter metadados de vídeo

Colete informações adicionais sobre os vídeos para avaliar melhor sua qualidade e relevância:

{
  "source": "youtube_metadata",
  "query": "VIDEO_ID",
  "parse": true
}

A resposta conterá metadados como contagens de visualizações, comentários, avaliações e outras métricas que podem ajudar você a avaliar a qualidade do conteúdo.

O parse o parâmetro deve ser definido como verdadeiro para a fonte de metadados.

Etapa 5: Recuperar conteúdo dos vídeos selecionados

Após identificar vídeos de alta qualidade e adequados para treinamento com base em sua elegibilidade e metadados, você pode prosseguir com a recuperação de conteúdo. Isso pode ser feito em duas etapas paralelas:

5.1 Baixar conteúdo de vídeo/áudio

{
  "source": "youtube_download",
  "query": "VIDEO_ID",
  "storage_type": "s3",
  "storage_url": "s3://your-bucket/your-folder/"
}

Opções adicionais para download:

{
  "source": "youtube_download",
  "query": "VIDEO_ID",
  "storage_type": "s3",
  "storage_url": "s3://your-bucket/your-folder/",
  "context": [
    {
      "key": "download_type",
      "value": "video"
    },
    {
      "key": "video_quality",
      "value": "1080"
    }
  ]
}

Esta fonte está disponível apenas por meio da integração assíncrona Push-Pull e Armazenamento em nuvem recurso.

Observação:

• Os vídeos podem ter até 3 horas de duração
• A resolução padrão é 720p (pode ser personalizada)
• Você pode especificar apenas áudio, apenas vídeo ou ambos

5.2 Recuperar legendas de vídeo

Verificando se um vídeo tem legendas (manualmente):

No YouTube, clique no ícone CC abaixo do vídeo para ativar as legendas.

Se quiser selecionar legendas em um idioma específico, procure o ícone Configurações ao lado do ícone CC , clique nele e acesse "Subtitles/CC" nas opções. Lá você encontrará Tradução automática, clique nela e você será direcionado à lista de idiomas.

Se as legendas estiverem disponíveis, você poderá recuperá-las com:

{
  "source": "youtube_subtitles",
  "query": "VIDEO_ID",
  "context": [
    {
      "key": "language_code",
      "value": "en"
    }
  ]
}

Para vídeos com legendas criadas manualmente, especifique:

{
    "source": "youtube_subtitles",
    "query": "VIDEO_ID",
    "context": [
        {
            "key": "language_code",
            "value": "en"
        },
        {
            "key": "subtitle_origin",
            "value": "uploader_provided"
        }
    ]
}

Processamento em lote

Para o processamento eficiente de vários vídeos, use endpoints em lote:

{
  "source": "youtube_video_trainability",
  "query": ["VIDEO_ID_1", "VIDEO_ID_2", "VIDEO_ID_3"]
}

Boas práticas

1. Siga o fluxo de descoberta de pesquisa → treinabilidade → metadados → conteúdo para maximizar a eficiência
2. Restrinja os resultados da pesquisa antes de processar vídeos individuais
3. Sempre verifique a treinabilidade antes de usar conteúdo para IA
4. Verifique códigos de resposta e implemente tentativas novamente para solicitações com falha