Olostep + Apify Integratie

Olostep is een Web zoek-, scraping- en crawling-API — een API om webgegevens te zoeken, extraheren en structureren. Deze gids laat zien hoe je Olostep met Apify Actors kunt gebruiken om betrouwbare webdatapijplijnen van begin tot eind te bouwen.

Wat je kunt bouwen

Website Scrapen

Haal inhoud op van elke enkele URL in Markdown, HTML, JSON of Tekst

Batch Scrapen van URL's

Verwerk grote lijsten van URL’s parallel met gestructureerde outputs

Crawl Maken

Ontdek en scrape gelinkte pagina’s om complete datasets te bouwen

Kaart Maken

Haal alle URL’s van een website op (sitemap-achtige ontdekking)

AI-gestuurde Antwoorden

Stel vragen en krijg gestructureerde JSON-antwoorden met bronnen

Snelle start

1) Installeer Apify CLI

npm install -g apify-cli
apify --version

2) Verkrijg je Olostep API-sleutel

Van het Olostep Dashboard → API-sleutels.

3) Voer de Olostep Actor lokaal uit

cd olostep-tools/integrations/apify
apify run

Standaard lokaal invoerbestand bevindt zich op: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Voorbeeldinvoer:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLostep_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Implementeer naar Apify (cloud)

apify login
apify push

Open vervolgens Apify Console → Actors → voer de actor uit met je gewenste invoer.

Voer uit in Apify Console (stap voor stap)

Open je Actor in Apify Console → Source → Input.
In het Handmatige tabblad zie je een zichtbaar veld “Olostep API Key”. Plak je sleutel van het Olostep Dashboard.
Kies een operatie (standaard is “scrape”).
Vul de relevante velden in (voor “scrape”, stel “URL to Scrape” in).
Klik op Opslaan → Start.
Wanneer de run is voltooid, open het Dataset-tabblad om resultaten te downloaden (JSON/CSV/Excel).

Opmerkingen:

Voor “URL to Scrape” kun je plakken met of zonder schema. Als het ontbreekt, voegt de actor automatisch https:// toe.
Als een site zwaar is in JavaScript en je ziet een timeout, stel “Wait Before Scraping” in op 2000–5000 ms en voer opnieuw uit.

Beschikbare operaties

Website Scrapen

Haal inhoud op van een enkele URL. Geweldig voor pagina-niveau automatisering.

operation

constant

standaard:"scrape"

Moet “scrape” zijn

apiKey

string

vereist

Je Olostep API-sleutel (Bearer)

url_to_scrape

string

vereist

De URL om te scrapen (moet http:// of https:// bevatten)

formats

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

country

string

Optionele landcode (bijv., “US”, “GB”, “CA”)

wait_before_scraping

integer

Optionele wachttijd in ms voor JavaScript-rendering (0–10000)

parser

string

Optionele parser-ID (bijv., “@olostep/amazon-product”)

Uitvoervelden:

id, url, status, formats
markdown_content / html_content / json_content / text_content
gehoste URL’s (indien beschikbaar), paginametadata

Batch Scrapen van URL’s

Verwerk veel URL’s tegelijk met consistente opmaak en structuur.

operation

constant

standaard:"batch"

Moet “batch” zijn

apiKey

string

vereist

Je Olostep API-sleutel

batch_array

text

vereist

JSON-array van objecten met url en optionele custom_id
Voorbeeld: [{"url":"https://example.com","custom_id":"site1"}]

formats

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

country

string

Optionele landcode

wait_before_scraping

integer

Optionele wachttijd in ms voor JS-sites

parser

string

Optionele parser-ID

Uitvoervelden:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

Crawl Maken

Volg links en scrape meerdere pagina’s vanaf een start-URL.

operation

constant

standaard:"crawl"

Moet “crawl” zijn

apiKey

string

vereist

Je Olostep API-sleutel

start_url

string

vereist

Start-URL voor de crawl

max_pages

integer

standaard:"10"

Maximaal aantal pagina’s om te crawlen

follow_links

boolean

standaard:"true"

Volg links op de pagina

formats

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

country

string

Optionele landcode

parser

string

Optionele parser-ID

Uitvoervelden:

crawl_id, object, status, start_url, max_pages, follow_links, created, formats

Kaart Maken

Ontdek alle URL’s op een website en bereid voor op latere batch scraping.

operation

constant

standaard:"map"

Moet “map” zijn

apiKey

string

vereist

Je Olostep API-sleutel

website_url

string

vereist

De website om in kaart te brengen

search_query

string

Optionele zoekopdracht filter

top_n

integer

Beperk aantal URL’s

include_patterns

string

Inclusie glob(s), bijv. “/products/**”

exclude_patterns

string

Exclusie glob(s), bijv. “/admin/**”

Uitvoervelden:

map_id, object, website_url, total_urls, urls[], search_query, top_n

Kopieer-plak JSON voorbeelden (Console → Input → JSON)

Scrape

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Batch

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "follow_links": true,
  "formats": "markdown"
}

Map

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Antwoorden

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "What is the latest funding round of Olostep? Provide company, round, date, amount.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Voorbeeld workflows

Ontdek en Scrape Producten

Maak Kaart → include “/products/**”
Parse URL’s → bouw batch array
Batch Scrape URL’s → formats: JSON
Stuur naar Google Sheets / Airtable

Dagelijkse Inhoud Monitoring

Plan actor (dagelijks)
Scrape Website → formats: Markdown
Samenvatten met LLM
Notificeren op Slack

Concurrenten Kennisbank

Maak Crawl (blog/docs)
Bewaar outputs in Notion
Wekelijks vernieuwen met Schema

Gespecialiseerde parsers

Olostep ondersteunt parsers om gegevens te structureren voor populaire sites.

Amazon Product

@olostep/amazon-product → titel, prijs, beoordeling, reviews, afbeeldingen, varianten

Google Search

@olostep/google-search → resultaten, titels, snippets, URL’s

Google Maps

@olostep/google-maps → bedrijfsinformatie, reviews, beoordelingen, locatie

Meer Parsers

Ontdek e-mail extractors, sociale media handle finders, kalenderlink extractors en meer

Beste praktijken

Geef de voorkeur aan batch voor 3+ URL's

Sneller, goedkoper, gemakkelijker te monitoren en respecteer rate limits.

Gebruik geschikte wachttijden

JS-zware sites: verhoog wait_before_scraping (bijv., 2000–5000ms).

Filter voordat je scrapt

Vermijd onnodige taken — controleer eerst wijzigingen, houd deduplicatie status bij.

Bewaar grote inhoud via gehoste URL's

Gebruik gehoste outputs om payload groottebeperkingen in Apify-flows te omzeilen.

Behandel asynchrone operaties als langlopend

Batch/Crawl/Map geven ID’s terug; haal later op of koppel met een vertraging.

Behandel tijdelijke timeouts netjes

Als je een 504 of tijdelijke timeout ziet, probeert de actor automatisch opnieuw met een korte wachttijd.
Je kunt ook “Wait Before Scraping” instellen op 2000–5000 ms voor JS-zware pagina’s.

Problemen oplossen

Authenticatie mislukt

Controleer API-sleutel van dashboard
Verwijder spaties aan het einde
Voer opnieuw in in Apify invoerformulier

Lege inhoud

Verhoog wachttijd
Controleer of URL openbaar is / niet login-afgeschermd
Probeer een ander uitvoerformaat

Rate limit overschreden

Ruimte runs via schema
Geef de voorkeur aan batch voor veel URL’s
Upgrade Olostep plan indien nodig

Geblokkeerde of dynamische sites

Probeer landparameter
Pas wachttijd en parser aan
Neem contact op met ondersteuning voor begeleiding

Prijzen

Olostep rekent per API-gebruik (onafhankelijk van Apify):

Scrapes → per scrape
Batches → per URL
Crawls → per pagina
Maps → per operatie

Zie https://olostep.com/pricing.

Beveiliging

Je API-sleutel wordt als Bearer-token verzonden tijdens runtime.
Commitsleutels niet naar versiebeheer; Apify slaat invoer op in Key‑Value Store.
In lokale ontwikkeling, houd sleutels in storage/key_value_stores/default/INPUT.json (gitignored).

Gerelateerde bronnen

Scrapes API

Haal LLM-vriendelijke Markdown, HTML, tekst of gestructureerde JSON op van elke URL.

Batches API

Verwerk tot 10k URL’s gelijktijdig en haal resultaten later op.

Crawls API

Ontdek en scrape de inhoud van een site recursief.

Maps API

Verkrijg alle URL’s op een website om batch scrapes voor te bereiden.

Ondersteuning

Apify Website

Apify platform

Apify Docs

Apify platform & SDK docs

Documentatie

Complete API-documentatie

Ondersteuning Email

info@olostep.com

Aan de slag

Functies

Integraties

​Wat je kunt bouwen

Website Scrapen

Batch Scrapen van URL's

Crawl Maken

Kaart Maken

AI-gestuurde Antwoorden

​Snelle start

​1) Installeer Apify CLI

​2) Verkrijg je Olostep API-sleutel

​3) Voer de Olostep Actor lokaal uit

​4) Implementeer naar Apify (cloud)

​Voer uit in Apify Console (stap voor stap)

​Beschikbare operaties

​Website Scrapen

​Batch Scrapen van URL’s

​Crawl Maken

​Kaart Maken

​Kopieer-plak JSON voorbeelden (Console → Input → JSON)

​Scrape

​Batch

​Crawl

​Map

​Antwoorden

​Voorbeeld workflows

​Gespecialiseerde parsers

Amazon Product

Google Search

Google Maps

Meer Parsers

​Beste praktijken

​Problemen oplossen

​Prijzen

​Beveiliging

​Gerelateerde bronnen

Scrapes API

Batches API

Crawls API

Maps API

​Ondersteuning

Apify Website

Apify Docs

Documentatie

Ondersteuning Email

Wat je kunt bouwen

Snelle start

1) Installeer Apify CLI

2) Verkrijg je Olostep API-sleutel

3) Voer de Olostep Actor lokaal uit

4) Implementeer naar Apify (cloud)

Voer uit in Apify Console (stap voor stap)

Beschikbare operaties

Website Scrapen

Batch Scrapen van URL’s

Crawl Maken

Kaart Maken

Kopieer-plak JSON voorbeelden (Console → Input → JSON)

Scrape

Batch

Crawl

Map

Antwoorden

Voorbeeld workflows

Gespecialiseerde parsers

Beste praktijken

Problemen oplossen

Prijzen

Beveiliging

Gerelateerde bronnen

Ondersteuning