> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 抓取页面

> 获取特定抓取的页面列表。



## OpenAPI

````yaml zh/openapi/crawls.json GET /v1/crawls/{crawl_id}/pages
openapi: 3.0.3
info:
  title: 爬虫 API
  version: 1.0.0
servers:
  - url: https://api.olostep.com
security: []
paths:
  /v1/crawls/{crawl_id}/pages:
    get:
      summary: 获取已爬取页面的列表，可选择包含内容
      description: 获取已处理的特定爬取ID的已爬取页面和内容列表。
      parameters:
        - name: crawl_id
          in: path
          required: true
          schema:
            type: string
          description: 要获取URL列表的爬取ID。
        - name: cursor
          in: query
          required: false
          schema:
            type: integer
          description: >-
            可选整数，表示开始获取内容的索引。用于分页，直到所有URL都被获取。从0开始，然后提供上次请求的
            `response['cursor']` 值。
        - name: limit
          in: query
          required: false
          schema:
            type: integer
          description: 可选整数，用于限制返回结果的数量。建议每次10-50个结果。使用*cursor*分页。单个请求最多可获取10MB的内容。
        - name: search_query
          in: query
          required: false
          schema:
            type: string
          description: 可选的搜索查询，用于按相关性排序结果。如果提供，默认使用原始search_query。
        - name: formats
          in: query
          required: false
          schema:
            type: array
            items:
              type: string
              enum:
                - html
                - markdown
          description: >-
            **已弃用：** 使用带有 `retrieve_id` 的 `/retrieve` 端点。  要获取的格式数组（例如，["html",
            "markdown"]）。
      responses:
        '200':
          description: 成功响应，包含URL列表。
          content:
            application/json:
              schema:
                type: object
                properties:
                  crawl_id:
                    type: string
                    description: 爬虫 ID
                  object:
                    type: string
                    description: 对象的类型。此端点为 "crawl"。
                  status:
                    type: string
                    description: '`in_progress` 或 `completed`'
                  search_query:
                    type: string
                  pages_count:
                    type: number
                  pages:
                    type: array
                    items:
                      type: object
                      properties:
                        id:
                          type: string
                        retrieve_id:
                          type: string
                          description: 从 `/retrieve` 端点获取内容。
                        url:
                          type: string
                        is_external:
                          type: boolean
                        html_content:
                          type: string
                          description: 已弃用：使用 `/retrieve` 端点和 `retrieve_id`。
                        markdown_content:
                          type: string
                          description: 已弃用：使用 `/retrieve` 端点和 `retrieve_id`。
                  metadata:
                    type: object
                    properties:
                      external_urls:
                        type: array
                        description: 在爬取过程中发现的外部 URL
                        items:
                          type: string
                      failed_urls:
                        type: array
                        description: 找到但无法抓取的 URL
                        items:
                          type: string
                  cursor:
                    type: integer
                    description: 在下一个请求的查询中传递，以获取下一个项目。
        '400':
          description: 由于参数错误或缺失导致的错误请求。
        '404':
          description: 提供的ID未找到爬取。
        '500':
          description: 内部服务器错误。
      security:
        - Authorization: []
components:
  securitySchemes:
    Authorization:
      type: http
      scheme: bearer
      description: Bearer认证头格式为Bearer <token>，其中<token>是你的认证令牌。

````