跳转到主要内容
通过 Olostep 的 /v1/maps 端点，您可以获取网站上的所有URL。这对于内容发现、网站结构分析（例如SEO）或决定下一个要抓取的URL非常有用。
  • 获取网站上的所有URL（包括站点地图和发现的链接）
  • 使用特殊模式包含/排除路径（例如 /blog/**）
  • 使用 cursor 分页大响应（每个响应最多10MB）
  • 使用 top_n 限制数量
有关API详细信息，请参阅 地图端点API参考。

​
安装

# pip install requests

import requests

​
使用方法

发送一个包含网站 url 的POST请求。可以选择传递 include_urls、exclude_urls（glob模式）和 top_n。 
import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))
响应时间通常在几秒钟内，但对于更复杂的网站可能需要长达120秒。它可以从网站中提取所有URL，包括反向链接和站点地图中不存在的链接。您还可以决定要在响应中包含或排除的URL路径。 默认情况下，端点在一次调用中返回大约100k个URL（最大10MB）。如果响应包含更多数据，API会返回一个 cursor 参数，可用于分页和获取后续URL。有关详细信息，请参阅 API参考。 此端点特别有用，当您需要：
  • 发现网站上的所有内容页面
  • 分析网站结构和层次
  • 准备批量处理的URL
  • 决定要抓取的特定URL
为了更精细地控制返回的URL，您可以使用参数 include_urls 和 exclude_urls。

​
示例

假设您想从 www.brex.com 提取所有路径在 /product/ 之后的URL，例如 https://www.brex.com/product/api/no-code，但也包括 www.brex.com/product。 您可以使用以下代码： 
import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

​
结论

地图端点是内容发现和网站分析的强大工具。它提供网站上的URL的全面列表，使您能够从特定页面提取内容或分析网站结构。此端点对需要分析网站内容或结构的SEO专业人士、内容营销人员、AI代理特别有用。

​
价格

地图费用为1个信用点。然后，对于响应中返回的每额外1000个URL，将收取额外的信用点。