Crawl

Über den Olostep /v1/crawls Endpoint kannst du eine Website crawlen und den Inhalt aller Seiten erhalten.

Crawle eine Website und erhalte den Inhalt aller Unterseiten (oder begrenze die Tiefe des Crawls)
Verwende spezielle Muster, um bestimmte Seiten zu crawlen (z.B. /blog/**)
Übermittle eine webhook_url, um benachrichtigt zu werden, wenn der Crawl abgeschlossen ist
Suchanfrage, um nur bestimmte Seiten zu finden und nach Relevanz zu sortieren

Für API-Details siehe die Crawl Endpoint API Referenz.

Installation

pip install olostep

npm install olostep

# curl ist standardmäßig auf macOS, Linux und Windows verfügbar

npm install node-fetch

pip install requests

Starte einen Crawl

Gib die Start-URL an, schließe URL-Globs ein/aus und max_pages. Optional: max_depth, include_external, include_subdomain, search_query, top_n, webhook_url, timeout.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

crawl = client.crawls.create(
    start_url="https://olostep.com",
    max_pages=100,
    include_urls=["/**"],
    exclude_urls=["/collections/**"],
    include_external=False,
)

print(crawl.id, crawl.status)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const crawl = await client.crawls.create({
  url: 'https://olostep.com',
  maxPages: 100,
  includeUrls: ['/**'],
  excludeUrls: ['/collections/**'],
  includeExternal: false,
})

console.log(crawl.id, crawl.status)

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://olostep.com",
    "max_pages": 100,
    "include_urls": ["/**"],
    "exclude_urls": ["/collections/**"]
  }'

olostep crawl "https://olostep.com" \
  --max-pages 100 \
  --include-url "/**" \
  --exclude-url "/collections/**" \
  --formats markdown,html

const API_URL = 'https://api.olostep.com'
const res = await fetch(`${API_URL}/v1/crawls`, {
  method: 'POST',
  headers: { 'Authorization': 'Bearer <YOUR_API_KEY>', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    start_url: 'https://olostep.com',
    max_pages: 100,
    include_urls: ['/**'],
    exclude_urls: ['/collections/**']
  })
})
console.log(await res.json())

import time, json

API_URL = 'https://api.olostep.com'
API_KEY = '<YOUR_API_KEY>'
HEADERS = { 
    'Content-Type': 'application/json',
    'Authorization': f'Bearer {API_KEY}' 
}

data = {
  "start_url": "https://olostep.com",
  "max_pages": 100,
  "include_urls": ["/**"],
  "exclude_urls": ["/collections/**"],
  "include_external": False
}

res = requests.post(f"{API_URL}/v1/crawls", headers=HEADERS, json=data)
crawl = res.json()
print(json.dumps(crawl, indent=2))

Da in Olostep alles ein Objekt ist, erhältst du als Antwort ein crawl Objekt. Das crawl Objekt hat einige Eigenschaften wie id und status, die du verwenden kannst, um den Crawl zu verfolgen.

Überprüfe den Crawl-Status

Poll den Crawl, um den Fortschritt zu verfolgen, bis status completed ist.

# Verwende das Crawl-Objekt aus dem vorherigen Schritt
info = crawl.info()
print(info.status, info.pages_count)

# Oder warte, bis es abgeschlossen ist
crawl.wait_till_done(check_every_n_secs=5)

// Verwende das Crawl-Objekt aus dem vorherigen Schritt
const info = await crawl.info()
console.log(info.status, info.pages_count)

// Oder warte, bis es abgeschlossen ist
await crawl.waitTillDone({ checkEveryNSecs: 5 })

curl -s -X GET "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY"

const crawlId = '<CRAWL_ID>'
const status = await fetch(`${API_URL}/v1/crawls/${crawlId}`, {
  headers: { 'Authorization': 'Bearer <YOUR_API_KEY>' }
}).then(r => r.json())
console.log(status)

import time

def get_crawl_info(crawl_id):
    return requests.get(f'{API_URL}/v1/crawls/{crawl_id}', headers=HEADERS).json()

crawl_id = crawl['id']
while True:
    info = get_crawl_info(crawl_id)
    print(info['status'], info.get('pages_count'))
    if info['status'] == 'completed':
        break
    time.sleep(5)

Alternativ kannst du eine webhook_url übergeben, wenn du den Crawl startest, um benachrichtigt zu werden, wenn der Crawl abgeschlossen ist.

Seiten auflisten (paginieren/streamen mit Cursor)

Hole Seiten und iteriere mit cursor und limit. Funktioniert, während der Crawl in_progress oder completed ist.

# Iteriere alle Seiten (wartet automatisch auf Crawl-Abschluss, behandelt Paginierung)
for page in crawl.pages():
    print(page.url, page.retrieve_id)

// Iteriere alle Seiten (wartet automatisch auf Crawl-Abschluss, behandelt Paginierung)
for await (const page of crawl.pages()) {
  console.log(page.url, page.retrieve_id)
}

curl -s -G "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  --data-urlencode "cursor=0" \
  --data-urlencode "limit=10"

let cursor = 0
while (true) {
  const pages = await fetch(`${API_URL}/v1/crawls/${crawlId}/pages?cursor=${cursor}&limit=10`, {
    headers: { 'Authorization': 'Bearer <YOUR_API_KEY>' }
  }).then(r => r.json())
  pages.pages.forEach(p => console.log(p.url, p.retrieve_id))
  if (pages.cursor === undefined) break
  cursor = pages.cursor
}

def get_pages(crawl_id, cursor=None, limit=10, search_query=None):
    params = { 
        'cursor': cursor, 
        'limit': limit
    }
    return requests.get(f'{API_URL}/v1/crawls/{crawl_id}/pages', headers=HEADERS, params=params).json()

cursor = 0
while True:
    page_batch = get_pages(crawl_id, cursor=cursor, limit=10)
    for page in page_batch['pages']:
        print(page['url'], page['retrieve_id'])
    if 'cursor' not in page_batch:
        break
    cursor = page_batch['cursor']
    time.sleep(5)

Suchanfrage (auf die Top N relevanten beschränken)

Verwende search_query beim Start und filtere optional die Auflistung mit search_query. Begrenze die Erkundung pro Seite mit top_n.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

crawl = client.crawls.create(
    start_url="https://olostep.com",
    max_pages=100,
    include_urls=["/**"],
    search_query="contact us",
    top_n=5,
)

for page in crawl.pages(search_query="contact us"):
    print(page.url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const crawl = await client.crawls.create({
  url: 'https://olostep.com',
  maxPages: 100,
  includeUrls: ['/**'],
  searchQuery: 'contact us',
  topN: 5,
})

for await (const page of crawl.pages()) {
  console.log(page.url)
}

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://olostep.com",
    "max_pages": 100,
    "include_urls": ["/**"],
    "search_query": "contact us",
    "top_n": 5
  }'

olostep crawl "https://olostep.com" \
  --max-pages 100 \
  --include-url "/**" \
  --search-query "contact us" \
  --top-n 5

await fetch(`${API_URL}/v1/crawls`, { method: 'POST', headers: { 'Authorization': 'Bearer <YOUR_API_KEY>', 'Content-Type': 'application/json' }, body: JSON.stringify({ start_url: 'https://olostep.com', max_pages: 100, include_urls: ['/**'], search_query: 'contact us', top_n: 5 }) })

data = {
  "start_url": "https://olostep.com",
  "max_pages": 100,
  "include_urls": ["/**"],
  "search_query": "contact us",
  "top_n": 5
}
crawl = requests.post(f'{API_URL}/v1/crawls', headers=HEADERS, json=data).json()
pages = requests.get(f"{API_URL}/v1/crawls/{crawl['id']}/pages", headers=HEADERS, params={'search_query': 'contact us'}).json()
print(len(pages['pages']))

Inhalt abrufen

Verwende die retrieve_id jeder Seite mit /v1/retrieve, um html_content und/oder markdown_content abzurufen.

# Inhalt für jede gecrawlte Seite abrufen
for page in crawl.pages():
    content = page.retrieve(["markdown"])
    print(content.markdown_content)

// Inhalt für jede gecrawlte Seite abrufen
for await (const page of crawl.pages()) {
  const content = await client.retrieve.get(page.retrieve_id, ['markdown'])
  console.log(content.markdown_content)
}

curl -s -G "https://api.olostep.com/v1/retrieve" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  --data-urlencode "retrieve_id=<RETRIEVE_ID>"

# `olostep crawl` ruft Inhalte automatisch ab. Um später eine einzelne
# Seite mit ihrer retrieve_id abzurufen:
olostep scrape-get <RETRIEVE_ID>

const retrieved = await fetch(`${API_URL}/v1/retrieve?retrieve_id=<RETRIEVE_ID>`, { headers: { 'Authorization': 'Bearer <YOUR_API_KEY>' } }).then(r => r.json())
console.log(retrieved.markdown_content)

def retrieve_content(retrieve_id):
    return requests.get(f"{API_URL}/v1/retrieve", headers=HEADERS, params={"retrieve_id": retrieve_id}).json()

for page in get_pages(crawl['id'], limit=5)['pages']:
    retrieved = retrieve_content(page['retrieve_id'])
    print(retrieved.get('markdown_content'))

Hinweise

Die Paginierung basiert auf Cursorn; wiederhole Anfragen, bis cursor nicht mehr vorhanden ist.
Inhaltsfelder auf /v1/crawls/{crawl_id}/pages sind veraltet; bevorzuge /v1/retrieve.
Webhooks: Setze webhook_url, um einen POST zu erhalten, wenn der Crawl abgeschlossen ist.

Speicherung

Gespeicherte Dateien für einen Crawl werden standardmäßig 7 Tage aufbewahrt. Übermittle ein storage Objekt bei POST /v1/crawls, um sie länger oder unbegrenzt aufzubewahren. Die Einstellung wird auf jeden Seitenabruf im Crawl angewendet, sodass sie den Inhalt abdeckt, den du später mit retrieve_id abrufst.

Parameter	Typ	Standard	Beschreibung
`storage.expires_in`	`string`	`7d`	Wie lange die gespeicherten Dateien aufbewahrt werden. Eine von `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d` oder `never` (unbegrenzt).

Das Weglassen von storage oder das Senden von storage ohne expires_in verwendet 7d. Sowohl die Erstellungsantwort als auch GET /v1/crawls/{crawl_id} enthalten den gültigen Wert:

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://example.com",
    "max_pages": 10,
    "storage": { "expires_in": "30d" }
  }'

Ein ungültiger Wert gibt 400 zurück:

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Preisgestaltung

Crawl kostet 1 Kredit pro gecrawlter Seite.

Loslegen

Funktionen

Kontostand & Abrechnung

Installation

Starte einen Crawl

Überprüfe den Crawl-Status

Seiten auflisten (paginieren/streamen mit Cursor)

Suchanfrage (auf die Top N relevanten beschränken)

Inhalt abrufen

Hinweise

Speicherung

Preisgestaltung

​Installation

​Starte einen Crawl

​Überprüfe den Crawl-Status

​Seiten auflisten (paginieren/streamen mit Cursor)

​Suchanfrage (auf die Top N relevanten beschränken)

​Inhalt abrufen

​Hinweise

​Speicherung

​Preisgestaltung

Installation

Starte einen Crawl

Überprüfe den Crawl-Status

Seiten auflisten (paginieren/streamen mit Cursor)

Suchanfrage (auf die Top N relevanten beschränken)

Inhalt abrufen

Hinweise

Speicherung

Preisgestaltung