地图 - Olostep Docs

通过 Olostep 的 /v1/maps 端点，你可以获取网站上的所有URL。这对于内容发现、网站结构分析（例如SEO）或决定下一个要抓取的URL非常有用。

获取网站上的所有URL（包括站点地图和发现的链接）
使用特殊模式包含/排除路径（例如 /blog/**）
使用 cursor 分页大响应（每个响应最多10MB）
使用 top_n 限制数量

有关API详细信息，请参阅地图端点API参考。

安装

pip install olostep

npm install olostep

# curl 在 macOS、Linux 和 Windows 上默认可用

npm install node-fetch

pip install requests

使用方法

发送一个包含网站 url 的POST请求。可以选择传递 include_urls、exclude_urls（glob模式）和 top_n。

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

响应时间通常在几秒钟内，但对于更复杂的网站可能需要长达120秒。它可以从网站中提取所有URL，甚至是反向链接和站点地图中不存在的链接。你还可以决定要从响应中包含或排除的URL路径。默认情况下，端点在一次调用中返回大约100k个URL（最大10MB）。如果响应包含更多数据，API会返回一个 cursor 参数，可用于分页和获取后续的URL。更多详细信息请参阅 API参考。这个端点特别有用，当你需要：

发现网站上的所有内容页面
分析网站结构和层次
为批处理准备URL
决定要抓取的特定URL

为了更精细地控制返回的URL，你可以使用参数 include_urls 和 exclude_urls。

示例

假设你想从 www.brex.com 提取所有路径在 /product/ 之后的URL，例如 https://www.brex.com/product/api/no-code，但也包括 www.brex.com/product。你可以使用以下代码：

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

结论

地图端点是内容发现和网站分析的强大工具。它提供了网站上URL的全面列表，使你能够从特定页面提取内容或分析网站结构。这个端点对SEO专业人士、内容营销人员、需要分析网站内容或结构的AI代理特别有用。

存储

地图的存储文件默认保留7天。在 POST /v1/maps 中传递一个 storage 对象以保持更长时间或无限期。该设置涵盖地图结果和在发现URL时抓取的页面。

参数	类型	默认值	描述
`storage.expires_in`	`string`	`7d`	存储文件的保留时间。可选值为 `7d`、`10d`、`30d`、`60d`、`90d`、`180d`、`365d` 或 `never`（无限期）。

省略 storage，或发送不带 expires_in 的 storage，使用 7d。创建响应和 GET /v1/maps/{map_id} 都包含生效的值：

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

无效值返回 400：

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

价格

地图花费1个信用点。然后对于响应中返回的每额外1000个URL，将额外收取一个信用点。

开始使用

功能

余额与账单

地图

安装

使用方法

示例

结论

存储

价格

​安装

​使用方法

​示例

​结论

​存储

​价格

安装

使用方法

示例

结论

存储

价格