For the complete documentation index, see llms.txt. This page is also available as Markdown.

armazenamento em nuvem

Recupere seus resultados extraídos diretamente no seu S3, GCS, OSS ou outro armazenamento compatível com S3.

Os resultados do job do Scraper API são armazenados em nosso armazenamento. Você pode obter seus resultados em nosso armazenamento por GETdo /results endpoint.

Como alternativa, podemos fazer o upload dos resultados para o seu armazenamento em nuvem. Dessa forma, você não precisa fazer solicitações extras para buscar os resultados – tudo vai diretamente para o bucket do seu armazenamento.

A integração com armazenamento em nuvem funciona apenas com Push-Pull método de integração.

Atualmente, oferecemos suporte a estes serviços de armazenamento em nuvem:

Se você quiser usar outro tipo de armazenamento, entre em contato com seu gerente de conta para discutir o prazo de entrega do recurso.

O caminho de upload é assim: YOUR_BUCKET_NAME/job_ID.json. Você encontrará o ID do job na resposta que recebe de nós após enviar um job.

Entrada

Parâmetro
Descrição
Valores válidos

storage_type

Seu tipo de armazenamento em nuvem.

gcs (Google Cloud Storage);

s3 (AWS S3); tos (BytePlus TOS);

s3_compatible (qualquer armazenamento compatível com S3).

storage_url

Nome do bucket / URL do seu armazenamento em nuvem.

  • Qualquer s3 , gcs , ou tos nome do bucket;

  • Qualquer compatível com S3 URL de armazenamento.

Google Cloud Storage

O payload abaixo faz o Web Scraper API raspar https://example.com e coloca o resultado em um bucket do Google Cloud Storage.

Para que os resultados do seu job sejam enviados para o bucket do Google Cloud Storage, configure permissões especiais para o nosso serviço como mostrado abaixo:

1

Criar uma função personalizada

2

Adicionar storage.objects.create permissão

3

Atribuí-la à Oxylabs

No Novos membros campo, insira o seguinte e-mail da conta de serviço da Oxylabs:

Amazon S3

O payload abaixo faz o Web Scraper API raspar https://example.com e coloca o resultado em um bucket do Amazon S3.

Para que os resultados do seu job sejam enviados para o bucket do Amazon S3, configure permissões de acesso para o nosso serviço. Para fazer isso, vá para https://s3.console.aws.amazon.com/ → S3 → Armazenamento → Nome do bucket ``(se você não tiver um, crie um novo) → Permissões → Política do bucket.

Você pode encontrar a política do bucket anexada abaixo ou na área de exemplo de código.

política do bucket s3

Não se esqueça de alterar o nome do bucket em YOUR_BUCKET_NAME. Esta política nos permite gravar no seu bucket, dar a você acesso aos arquivos enviados e saber a localização do bucket.

Alibaba Cloud Object Storage Service (OSS)

O payload abaixo faz o Web Scraper API raspar https://example.com e coloca o resultado em um bucket do Alibaba Cloud OSS.

Formando a URL de armazenamento

Formato da URL de armazenamento:

Aqui é onde você encontrará o BUCKET_NAME e oss-REGION do seu bucket:

Criando o Access Key e o Secret

Para usar a interface compatível com S3 com o Alibaba OSS, você deve criar o ACCESS_KEY_ID e ACCESS_KEY_SECRET como mostrado abaixo. Para mais informações, consulte Como usar os SDKs do Amazon S3 para acessar o OSS.

1

Acesse o menu de conta AccessKey

2

Faça login no RAM console

Acesse o RAM console usando uma conta da Alibaba Cloud ou um usuário RAM com direitos administrativos.

3

Vá para Identidades → Usuários no painel de navegação à esquerda

4

Selecione Criar usuário e use o RAM User AccessKey:

5

Conceder permissões ao usuário RAM

O usuário RAM recém-criado não tem permissões. Você deve conceder AliyunOSSFullAccess permissões ao usuário RAM. Então, o usuário RAM pode acessar os recursos necessários da Alibaba Cloud. Para mais informações, consulte Conceder permissões a usuários RAM.

6

Obtenha seu AccessKey ID e AccessKey Secret

Quando as permissões forem concedidas, volte para a seção Autenticação e, na seção Access Key seção, selecione Create AccessKey. Escolha criar uma Access Key para um Third-Party service. Você verá então um ACCESS_KEY_ID e ACCESS_KEY_SECRET, que depois você pode usar em suas solicitações.

Limites de taxa do Alibaba OSS

Ao fazer uploads concorrentes para o Alibaba OSS, é possível atingir os limites de taxa da conta/bucket, e os uploads começarão a expirar com o seguinte erro:

Nesse caso, entre em contato com o suporte do Alibaba OSS para aumentar seus limites de taxa do OSS.

BytePlus TOS

Você pode enviar resultados raspados diretamente para um bucket do BytePlus Torch Object Storage (TOS).

Para uma conexão bem-sucedida, você precisará de:

  • Um bucket TOS configurado corretamente.

  • Sua chave de acesso e chave secreta.

  • Um endpoint compatível com S3.

Você pode encontrar uma lista de todos os endpoints S3 disponíveis na documentação oficial da BytePlus documentação.

Exemplo

O seguinte payload fará a raspagem de https://example.com e enviará os resultados para o seu bucket TOS.

Parâmetros

Parâmetro
Valores disponíveis
Descrição

storage_type

tos

Especifica o BytePlus TOS como provedor de armazenamento.

storage_url

String de URL

URL autenticada para o seu bucket TOS (veja o formato abaixo).

Formato da URL de armazenamento

A storage_url deve ser construída usando suas credenciais TOS e os detalhes do bucket.

Componente
Descrição

access_key

Seu ID de chave de acesso BytePlus.

secret_key

Sua chave secreta de acesso BytePlus.

endpoint

O endpoint específico da região (por exemplo, tos-cn-hongkong.bytepluses.com).

bucket_name

Nome do bucket de destino.

path

(Opcional) Caminho da pasta específica do bucket.

Nomeação do arquivo de saída

Oxylabs gera automaticamente nomes de arquivo para os objetos enviados com base nos detalhes do job:

  • HTML/Conteúdo: {query_id}_{timestamp}.html

  • Dados analisados: {query_id}_results.json

Os arquivos ficarão acessíveis no seu bucket em: tos://{bucket_name}/{path}/{filename}

Outro armazenamento compatível com S3

Se você quiser que seus resultados sejam entregues em um local de armazenamento compatível com S3, você terá que incluir a ACCESS_KEY:SECRET string de autenticação em storage_url no valor do payload:

Atualizado

Isto foi útil?