Crawl

Via de Olostep /v1/crawls endpoint kun je een website crawlen en de inhoud van alle pagina’s verkrijgen.

Crawl een website en verkrijg de inhoud van alle subpagina’s (of beperk de diepte van de crawl)
Gebruik speciale patronen om specifieke pagina’s te crawlen (bijv. /blog/**)
Geef een webhook_url door om een melding te krijgen wanneer de crawl is voltooid
Zoekopdracht om alleen specifieke pagina’s te vinden en te sorteren op relevantie

Voor API-details zie de Crawl Endpoint API Referentie.

Installatie

pip install olostep

npm install olostep

# curl is standaard beschikbaar op macOS, Linux en Windows

npm install node-fetch

pip install requests

Start een crawl

Geef de start-URL, include/exclude URL-globs, en max_pages. Optioneel: max_depth, include_external, include_subdomain, search_query, top_n, webhook_url, timeout.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

crawl = client.crawls.create(
    start_url="https://olostep.com",
    max_pages=100,
    include_urls=["/**"],
    exclude_urls=["/collections/**"],
    include_external=False,
)

print(crawl.id, crawl.status)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const crawl = await client.crawls.create({
  url: 'https://olostep.com',
  maxPages: 100,
  includeUrls: ['/**'],
  excludeUrls: ['/collections/**'],
  includeExternal: false,
})

console.log(crawl.id, crawl.status)

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://olostep.com",
    "max_pages": 100,
    "include_urls": ["/**"],
    "exclude_urls": ["/collections/**"]
  }'

olostep crawl "https://olostep.com" \
  --max-pages 100 \
  --include-url "/**" \
  --exclude-url "/collections/**" \
  --formats markdown,html

const API_URL = 'https://api.olostep.com'
const res = await fetch(`${API_URL}/v1/crawls`, {
  method: 'POST',
  headers: { 'Authorization': 'Bearer <YOUR_API_KEY>', 'Content-Type': 'application/json' },
  body: JSON.stringify({
    start_url: 'https://olostep.com',
    max_pages: 100,
    include_urls: ['/**'],
    exclude_urls: ['/collections/**']
  })
})
console.log(await res.json())

import time, json

API_URL = 'https://api.olostep.com'
API_KEY = '<YOUR_API_KEY>'
HEADERS = { 
    'Content-Type': 'application/json',
    'Authorization': f'Bearer {API_KEY}' 
}

data = {
  "start_url": "https://olostep.com",
  "max_pages": 100,
  "include_urls": ["/**"],
  "exclude_urls": ["/collections/**"],
  "include_external": False
}

res = requests.post(f"{API_URL}/v1/crawls", headers=HEADERS, json=data)
crawl = res.json()
print(json.dumps(crawl, indent=2))

Omdat alles in Olostep een object is, ontvang je een crawl object als antwoord. Het crawl object heeft een paar eigenschappen zoals id en status, die je kunt gebruiken om de crawl te volgen.

Controleer crawlstatus

Poll de crawl om de voortgang te volgen totdat status completed is.

# Gebruik het crawl object van de vorige stap
info = crawl.info()
print(info.status, info.pages_count)

# Of wacht tot voltooid
crawl.wait_till_done(check_every_n_secs=5)

// Gebruik het crawl object van de vorige stap
const info = await crawl.info()
console.log(info.status, info.pages_count)

// Of wacht tot voltooid
await crawl.waitTillDone({ checkEveryNSecs: 5 })

curl -s -X GET "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY"

const crawlId = '<CRAWL_ID>'
const status = await fetch(`${API_URL}/v1/crawls/${crawlId}`, {
  headers: { 'Authorization': 'Bearer <YOUR_API_KEY>' }
}).then(r => r.json())
console.log(status)

import time

def get_crawl_info(crawl_id):
    return requests.get(f'{API_URL}/v1/crawls/{crawl_id}', headers=HEADERS).json()

crawl_id = crawl['id']
while True:
    info = get_crawl_info(crawl_id)
    print(info['status'], info.get('pages_count'))
    if info['status'] == 'completed':
        break
    time.sleep(5)

Als alternatief kun je een webhook_url doorgeven bij het starten van de crawl om een melding te krijgen wanneer de crawl is voltooid.

Lijst pagina’s (pagineren/streamen met cursor)

Haal pagina’s op en itereren met cursor en limit. Werkt terwijl de crawl in_progress of completed is.

# Itereer alle pagina's (wacht automatisch op voltooiing van de crawl, behandelt paginering)
for page in crawl.pages():
    print(page.url, page.retrieve_id)

// Itereer alle pagina's (wacht automatisch op voltooiing van de crawl, behandelt paginering)
for await (const page of crawl.pages()) {
  console.log(page.url, page.retrieve_id)
}

curl -s -G "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  --data-urlencode "cursor=0" \
  --data-urlencode "limit=10"

let cursor = 0
while (true) {
  const pages = await fetch(`${API_URL}/v1/crawls/${crawlId}/pages?cursor=${cursor}&limit=10`, {
    headers: { 'Authorization': 'Bearer <YOUR_API_KEY>' }
  }).then(r => r.json())
  pages.pages.forEach(p => console.log(p.url, p.retrieve_id))
  if (pages.cursor === undefined) break
  cursor = pages.cursor
}

def get_pages(crawl_id, cursor=None, limit=10, search_query=None):
    params = { 
        'cursor': cursor, 
        'limit': limit
    }
    return requests.get(f'{API_URL}/v1/crawls/{crawl_id}/pages', headers=HEADERS, params=params).json()

cursor = 0
while True:
    page_batch = get_pages(crawl_id, cursor=cursor, limit=10)
    for page in page_batch['pages']:
        print(page['url'], page['retrieve_id'])
    if 'cursor' not in page_batch:
        break
    cursor = page_batch['cursor']
    time.sleep(5)

Zoekopdracht (beperk tot top N relevant)

Gebruik search_query bij de start, en filter optioneel de lijst met search_query. Beperk per-pagina verkenning met top_n.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

crawl = client.crawls.create(
    start_url="https://olostep.com",
    max_pages=100,
    include_urls=["/**"],
    search_query="contact us",
    top_n=5,
)

for page in crawl.pages(search_query="contact us"):
    print(page.url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const crawl = await client.crawls.create({
  url: 'https://olostep.com',
  maxPages: 100,
  includeUrls: ['/**'],
  searchQuery: 'contact us',
  topN: 5,
})

for await (const page of crawl.pages()) {
  console.log(page.url)
}

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://olostep.com",
    "max_pages": 100,
    "include_urls": ["/**"],
    "search_query": "contact us",
    "top_n": 5
  }'

olostep crawl "https://olostep.com" \
  --max-pages 100 \
  --include-url "/**" \
  --search-query "contact us" \
  --top-n 5

await fetch(`${API_URL}/v1/crawls`, { method: 'POST', headers: { 'Authorization': 'Bearer <YOUR_API_KEY>', 'Content-Type': 'application/json' }, body: JSON.stringify({ start_url: 'https://olostep.com', max_pages: 100, include_urls: ['/**'], search_query: 'contact us', top_n: 5 }) })

data = {
  "start_url": "https://olostep.com",
  "max_pages": 100,
  "include_urls": ["/**"],
  "search_query": "contact us",
  "top_n": 5
}
crawl = requests.post(f'{API_URL}/v1/crawls', headers=HEADERS, json=data).json()
pages = requests.get(f"{API_URL}/v1/crawls/{crawl['id']}/pages", headers=HEADERS, params={'search_query': 'contact us'}).json()
print(len(pages['pages']))

Inhoud ophalen

Gebruik de retrieve_id van elke pagina met /v1/retrieve om html_content en/of markdown_content op te halen.

# Haal inhoud op voor elke gecrawlde pagina
for page in crawl.pages():
    content = page.retrieve(["markdown"])
    print(content.markdown_content)

// Haal inhoud op voor elke gecrawlde pagina
for await (const page of crawl.pages()) {
  const content = await client.retrieve.get(page.retrieve_id, ['markdown'])
  console.log(content.markdown_content)
}

curl -s -G "https://api.olostep.com/v1/retrieve" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  --data-urlencode "retrieve_id=<RETRIEVE_ID>"

# `olostep crawl` haalt automatisch inhoud op. Om een enkele
# pagina later op te halen met zijn retrieve_id:
olostep scrape-get <RETRIEVE_ID>

const retrieved = await fetch(`${API_URL}/v1/retrieve?retrieve_id=<RETRIEVE_ID>`, { headers: { 'Authorization': 'Bearer <YOUR_API_KEY>' } }).then(r => r.json())
console.log(retrieved.markdown_content)

def retrieve_content(retrieve_id):
    return requests.get(f"{API_URL}/v1/retrieve", headers=HEADERS, params={"retrieve_id": retrieve_id}).json()

for page in get_pages(crawl['id'], limit=5)['pages']:
    retrieved = retrieve_content(page['retrieve_id'])
    print(retrieved.get('markdown_content'))

Opmerkingen

Paginering is cursor-gebaseerd; herhaal verzoeken totdat cursor afwezig is.
Inhoudsvelden op /v1/crawls/{crawl_id}/pages zijn verouderd; geef de voorkeur aan /v1/retrieve.
Webhooks: stel webhook_url in om een POST te ontvangen wanneer de crawl is voltooid.

Opslag

Opgeslagen bestanden voor een crawl worden standaard 7 dagen bewaard. Geef een storage object door bij POST /v1/crawls om ze langer of onbeperkt te bewaren. De instelling wordt doorgegeven aan elke pagina-scrape in de crawl, zodat het de inhoud dekt die je later ophaalt met retrieve_id.

Parameter	Type	Standaard	Beschrijving
`storage.expires_in`	`string`	`7d`	Hoe lang de opgeslagen bestanden bewaard worden. Een van `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d`, of `never` (onbeperkt).

Het weglaten van storage, of het verzenden van storage zonder expires_in, gebruikt 7d. Zowel het aanmaakantwoord als GET /v1/crawls/{crawl_id} bevatten de waarde die van kracht is:

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://example.com",
    "max_pages": 10,
    "storage": { "expires_in": "30d" }
  }'

Een ongeldige waarde retourneert 400:

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Prijzen

Crawlen kost 1 credit per gecrawlde pagina.

Aan de slag

Functies

Saldo & Facturering

Installatie

Start een crawl

Controleer crawlstatus

Lijst pagina’s (pagineren/streamen met cursor)

Zoekopdracht (beperk tot top N relevant)

Inhoud ophalen

Opmerkingen

Opslag

Prijzen

​Installatie

​Start een crawl

​Controleer crawlstatus

​Lijst pagina’s (pagineren/streamen met cursor)

​Zoekopdracht (beperk tot top N relevant)

​Inhoud ophalen

​Opmerkingen

​Opslag

​Prijzen

Installatie

Start een crawl

Controleer crawlstatus

Lijst pagina’s (pagineren/streamen met cursor)

Zoekopdracht (beperk tot top N relevant)

Inhoud ophalen

Opmerkingen

Opslag

Prijzen