云存储

直接在您的 S3、GCS、OSS 或其他兼容 S3 的存储中获取抓取结果。

网页爬虫API 作业结果存储在我们的存储中。您可以通过以下方式从我们的存储获取结果： GET获取 /results 端点。

或者，我们可以将结果上传到您的云存储。这样，您无需发出额外请求来获取结果——所有内容都会直接发送到您的存储桶。

云存储集成仅适用于 Push-Pull 集成方法。

目前，我们支持以下云存储服务：

• Google Cloud Storage
• Amazon S3
• Alibaba Cloud 对象存储服务 (OSS)
• BytePlus Torch 对象存储 (TOS)
• 其他兼容 S3 的存储

如果您希望使用其他类型的存储，请联系您的客户经理以讨论功能交付时间表。

上传路径如下： YOUR_BUCKET_NAME/job_ID.json。提交作业后，您将在我们返回的响应中找到作业 ID。

输入

参数	说明	有效值
storage_type	您的云存储类型。	gcs (Google Cloud Storage)； s3 (AWS S3)； tos (BytePlus TOS)； s3_compatible （任何兼容 S3 的存储）。
storage_url	您的云存储桶名称 / URL。	任意 s3 , gcs ，或 tos 存储桶名称； 任意 兼容 S3 的 存储 URL。

Google Cloud Storage

以下负载使网页爬虫API 抓取 https://example.com 并将结果放入 Google Cloud Storage 存储桶。

{
    "source": "universal",
    "url": "https://example.com",
    "storage_type": "gcs",
    "storage_url": "bucket_name/path"
}

要将您的作业结果上传到 Google Cloud Storage 存储桶，请按如下所示为我们的服务设置特殊权限：

1

创建自定义角色

2

添加 storage.objects.create 权限

3

将其分配给 Oxylabs

在 新成员 字段中，输入以下 Oxylabs 服务账号电子邮件地址:

[e-mail]

Amazon S3

以下负载使网页爬虫API 抓取 https://example.com 并将结果放入 Amazon S3 存储桶。

{
    "source": "universal",
    "url": "https://example.com",
    "storage_type": "s3",
    "storage_url": "bucket_name/path"
}

要将您的作业结果上传到 Amazon S3 存储桶，请为我们的服务设置访问权限。为此，请前往 https://s3.console.aws.amazon.com/ → S3 → 存储 → 存储桶名称 ``(如果您没有，请新建一个) → 权限 → 存储桶策略.

您可以在下方或代码示例区域找到存储桶策略。

s3_bucket_policy.json

774B

打开

S3 存储桶策略

不要忘记更改以下项中的存储桶名称： YOUR_BUCKET_NAME。此策略允许我们写入您的存储桶、授予您对已上传文件的访问权限，并获知存储桶的位置。

{
    "Version": "2012-10-17",
    "Id": "Policy1577442634787",
    "Statement": [
        {
            "Sid": "Stmt1577442633719",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action": "s3:GetBucketLocation",
            "Resource": "arn:aws:s3:::YOUR_BUCKET_NAME"
        },
        {
            "Sid": "Stmt1577442633719",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::324311890426:user/oxylabs.s3.uploader"
            },
            "Action": [
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": "arn:aws:s3:::YOUR_BUCKET_NAME/*"
        }
    ]
}

Alibaba Cloud 对象存储服务 (OSS)

以下负载使网页爬虫API 抓取 https://example.com 并将结果放入 Alibaba Cloud OSS 存储桶。

{
    "source": "universal",
    "url": "https://example.com",
    "storage_type": "s3_compatible",
    "storage_url": "https://ACCESS_KEY_ID:ACCESS_KEY_SECRET@BUCKET_NAME.oss-REGION.aliyuncs.com/FOLDER_NAME"
}

构建存储 URL

存储 URL 格式：

https://ACCESS_KEY_ID:ACCESS_KEY_SECRET@BUCKET_NAME.oss-REGION.aliyuncs.com/FOLDER_NAME

目前， 我们无法上传到根存储桶。请为您的上传提供具体的文件夹名称。

您可在此找到存储桶的 BUCKET_NAME 和 oss-REGION ：

创建 AccessKey 和密钥

要通过兼容 S3 的接口使用 Alibaba OSS，您必须创建 ACCESS_KEY_ID 和 ACCESS_KEY_SECRET ，如下所示。有关更多信息，请参阅 如何使用 Amazon S3 SDK 访问 OSS.

1

前往 AccessKey 账户菜单

2

登录 RAM console

使用 RAM console 访问 Alibaba Cloud 账号 或 RAM 用户 ，该用户拥有管理权限。

3

前往 身份 → 用户 位于左侧导航窗格中

4

选择 创建用户 并使用 RAM User AccessKey：

5

向 RAM 用户授予权限

新创建的 RAM 用户没有任何权限。您必须授予 AliyunOSSFullAccess 权限给 RAM 用户。然后，RAM 用户便可访问所需的 Alibaba Cloud 资源。有关更多信息，请参阅 向 RAM 用户授予权限.

6

获取您的 AccessKey ID 和 AccessKey Secret

授予权限后，返回 身份验证 部分，然后在 Access Key 部分中，选择 创建 AccessKey。选择为以下对象创建 Access Key： 第三方服务。随后您将看到一个 ACCESS_KEY_ID 和 ACCESS_KEY_SECRET，随后您可以在请求中使用它。

Alibaba OSS 速率限制

对 Alibaba OSS 执行并发上传时，可能会触及其账号/存储桶速率限制，上传将因以下错误开始超时：

在这种情况下，请联系 Alibaba OSS 支持团队以提高您的 OSS 速率限制。

BytePlus TOS

您可以将抓取结果直接上传到 BytePlus Torch 对象存储 (TOS) 存储桶。

要成功连接，您需要：

• 已正确配置的 TOS 存储桶。
• 您的访问密钥和密钥。
• 兼容 S3 的端点。

您可以在官方 BytePlus 文档.

示例

以下负载将抓取 https://example.com 并将结果上传到您的 TOS 存储桶。

{
    "source": "universal",
    "url": "https://example.com",
    "storage_type": "tos",
    "storage_url": "https://access_key:secret_key@endpoint/bucket_name/path"
}

参数

参数	可用值	说明
storage_type	tos	指定 BytePlus TOS 作为存储提供商。
storage_url	URL 字符串	指向您的 TOS 存储桶的已认证 URL（请参阅以下格式）。

存储 URL 格式

该 storage_url 必须使用您的 TOS 凭据和存储桶详细信息构建。

https://access_key:secret_key@endpoint/bucket_name/path

组件	说明
access_key	您的 BytePlus 访问密钥 ID。
secret_key	您的 BytePlus 私有访问密钥。
endpoint	特定区域的端点（例如， tos-cn-hongkong.bytepluses.com).
bucket_name	目标存储桶名称。
path	（可选） 存储桶的特定文件夹路径。

如果您的 Access Key 或 Secret Key 包含特殊字符（例如 /, +，或 =），则它们 必须进行 URL 编码 然后再构建字符串。

输出文件命名

Oxylabs 会根据作业详细信息自动为上传的对象生成文件名：

• HTML/内容： {query_id}_{timestamp}.html
• 解析后的数据： {query_id}_results.json

您可以在存储桶中的以下位置访问文件： tos://{bucket_name}/{path}/{filename}

其他兼容 S3 的存储

如果您希望将结果交付到兼容 S3 的存储位置，则必须包含存储桶的 ACCESS_KEY:SECRET 认证字符串，位于 storage_url 负载中的值：

{
    "source": "universal",
    "url": "https://example.com",
    "storage_type": "s3_compatible",
    "storage_url": "https://ACCESS_KEY:[e-mail]/my-videos"
}