跳转到主要内容
通过Olostep的/v1/maps端点，你可以获取网站上的所有URL。这对于内容发现、网站结构分析（例如SEO）或决定下一个要抓取的URL非常有用。
  • 获取网站上的所有URL（包括站点地图和发现的链接）
  • 使用特殊模式包含/排除路径（例如/blog/**）
  • 使用cursor分页处理大型响应（每个响应最多10MB）
  • 使用top_n限制数量
有关API详细信息，请参阅地图端点API参考。

​
安装

pip install olostep

​
使用方法

发送一个包含网站url的POST请求。可以选择传递include_urls、exclude_urls（glob模式）和top_n。 
from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)
响应时间通常在几秒钟内，但对于更复杂的网站可能需要长达120秒。它可以从网站中提取所有URL，甚至是反向链接和不在站点地图中的链接。你还可以决定要在响应中包含或排除的URL路径。 默认情况下，端点在一次调用中返回大约10万个URL（最大10MB）。如果响应包含更多数据，API会返回一个cursor参数，可用于分页和获取后续的URL。有关更多详细信息，请参阅API参考。 此端点特别有用，当你需要：
  • 发现网站上的所有内容页面
  • 分析网站结构和层次
  • 为批处理准备URL
  • 决定要抓取的特定URL
为了更精细地控制返回的URL，你可以使用参数include_urls和exclude_urls。

​
示例

假设你想从www.brex.com提取所有路径在/product/之后的URL，例如https://www.brex.com/product/api/no-code，但也包括www.brex.com/product。你可以使用以下代码： 
from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

​
结论

地图端点是内容发现和网站分析的强大工具。它提供了网站上URL的全面列表，使你能够从特定页面提取内容或分析网站结构。此端点对需要分析网站内容或结构的SEO专业人士、内容营销人员、AI代理特别有用。

​
价格

地图费用为1个信用点。然后对于响应中返回的每额外1000个URL，将收取额外的信用点。