Karten

Über den Olostep /v1/maps Endpunkt kannst du alle URLs auf einer Website erhalten. Dies ist nützlich für die Inhaltsentdeckung, die Analyse der Seitenstruktur (z.B. SEO) oder um zu entscheiden, welche URLs du als nächstes scrapen möchtest.

Erhalte alle URLs auf einer Website (einschließlich Sitemaps und entdeckter Links)
Verwende spezielle Muster, um Pfade einzuschließen/auszuschließen (z.B. /blog/**)
Paginierung großer Antworten mit cursor (bis zu 10MB pro Antwort)
Begrenze das Volumen mit top_n

Für API-Details siehe die Map Endpoint API Referenz.

Installation

pip install olostep

npm install olostep

# curl ist standardmäßig auf macOS, Linux und Windows verfügbar

npm install node-fetch

pip install requests

Verwendung

Sende eine POST-Anfrage mit der Website-url. Optional kannst du include_urls, exclude_urls (Glob-Muster) und top_n übergeben.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

Die Antwortzeit liegt typischerweise innerhalb von Sekunden, kann aber für komplexere Websites bis zu 120 Sekunden dauern. Es können alle URLs von einer Website extrahiert werden, sogar Backlinks und solche, die nicht in den Sitemaps vorhanden sind. Du kannst auch entscheiden, welche URL-Pfade du in der Antwort ein- oder ausschließen möchtest. Standardmäßig gibt der Endpunkt etwa 100.000 URLs in einem einzigen Aufruf zurück (maximal 10MB). Wenn die Antwort mehr Daten enthält, gibt die API einen cursor-Parameter zurück, der für die Paginierung und das Abrufen der nachfolgenden URLs verwendet werden kann. Für weitere Details siehe die API Referenz. Dieser Endpunkt ist besonders nützlich, wenn du:

Alle Inhaltsseiten auf einer Website entdecken möchtest
Die Seitenstruktur und Hierarchie analysieren möchtest
URLs für die Batch-Verarbeitung vorbereiten möchtest
Entscheiden möchtest, welche spezifischen URLs gescrapt werden sollen

Für eine feinere Kontrolle über die zurückgegebenen URLs kannst du die Parameter include_urls und exclude_urls verwenden.

Beispiel

Angenommen, du möchtest von www.brex.com alle URLs extrahieren, die die Pfade nach /product/ haben, z.B. https://www.brex.com/product/api/no-code, aber auch www.brex.com/product einschließen. Du kannst den folgenden Code verwenden:

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

Fazit

Der Karten-Endpunkt ist ein leistungsstarkes Werkzeug für die Inhaltsentdeckung und Seitenanalyse. Er bietet eine umfassende Liste von URLs auf einer Website, die es dir ermöglicht, Inhalte von bestimmten Seiten zu extrahieren oder die Seitenstruktur zu analysieren. Dieser Endpunkt ist besonders nützlich für SEO-Profis, Content-Marketer, KI-Agenten, die Website-Inhalte oder -Strukturen analysieren müssen.

Speicherung

Gespeicherte Dateien für eine Karte werden standardmäßig 7 Tage lang aufbewahrt. Übergebe ein storage-Objekt bei POST /v1/maps, um sie länger oder unbegrenzt zu speichern. Die Einstellung umfasst das Kartenresultat und die Seiten, die beim Entdecken von URLs gescrapt wurden.

Parameter	Typ	Standard	Beschreibung
`storage.expires_in`	`string`	`7d`	Wie lange die gespeicherten Dateien aufbewahrt werden sollen. Einer von `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d` oder `never` (unbegrenzt).

Das Weglassen von storage oder das Senden von storage ohne expires_in verwendet 7d. Sowohl die Erstellungsantwort als auch GET /v1/maps/{map_id} enthalten den aktuell gültigen Wert:

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

Ein ungültiger Wert gibt 400 zurück:

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Preisgestaltung

Eine Karte kostet 1 Kredit. Für jede zusätzlichen 1000 URLs, die in der Antwort zurückgegeben werden, wird ein zusätzlicher Kredit berechnet.

Loslegen

Funktionen

Kontostand & Abrechnung

Installation

Verwendung

Beispiel

Fazit

Speicherung

Preisgestaltung

​Installation

​Verwendung

​Beispiel

​Fazit

​Speicherung

​Preisgestaltung

Installation

Verwendung

Beispiel

Fazit

Speicherung

Preisgestaltung