Documentation Index
Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
Use this file to discover all available pages before exploring further.
通过Olostep的/v1/maps端点，你可以获取网站上的所有URL。这对于内容发现、网站结构分析（例如SEO）或决定下一个要抓取的URL非常有用。
- 获取网站上的所有URL（包括站点地图和发现的链接）
- 使用特殊模式包含/排除路径（例如
/blog/**）
- 使用
cursor分页处理大型响应（每个响应最多10MB）
- 使用
top_n限制数量
有关API详细信息，请参阅地图端点API参考。
使用方法
发送一个包含网站url的POST请求。可以选择传递include_urls、exclude_urls（glob模式）和top_n。
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
sitemap = client.maps.create(url="https://docs.olostep.com")
for url in sitemap.urls():
print(url)
cursor参数，可用于分页和获取后续的URL。有关更多详细信息，请参阅API参考。
此端点特别有用，当你需要：
- 发现网站上的所有内容页面
- 分析网站结构和层次
- 为批处理准备URL
- 决定要抓取的特定URL
为了更精细地控制返回的URL，你可以使用参数include_urls和exclude_urls。
假设你想从www.brex.com提取所有路径在/product/之后的URL，例如https://www.brex.com/product/api/no-code，但也包括www.brex.com/product。你可以使用以下代码：
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
sitemap = client.maps.create(
url="https://www.brex.com/",
include_urls=["/product", "/product/**"],
top_n=100000,
)
for url in sitemap.urls():
print(url)
