Olostep + Apify-integratie

Olostep is een webzoek-, scraping- en crawling-API — een API om webgegevens te zoeken, extraheren en structureren. Deze handleiding laat zien hoe je Olostep met Apify Actors kunt gebruiken om betrouwbare webgegevenspijplijnen van begin tot eind te bouwen.

Wat je kunt bouwen

Website Scrapen

Haal inhoud op van elke enkele URL in Markdown, HTML, JSON of tekst

Batch Scrape URLs

Verwerk grote lijsten van URL’s parallel met gestructureerde outputs

Crawl Maken

Ontdek en scrape gekoppelde pagina’s om complete datasets te bouwen

Kaart Maken

Haal alle URL’s van een website op (sitemap-achtige ontdekking)

AI-gestuurde Antwoorden

Stel vragen en krijg gestructureerde JSON-antwoorden met bronnen

Snelle start

1) Installeer Apify CLI

npm install -g apify-cli
apify --version

2) Verkrijg je Olostep API-sleutel

Van het Olostep Dashboard → API-sleutels.

3) Voer de Olostep Actor lokaal uit

cd olostep-tools/integrations/apify
apify run

Standaard lokaal invoerbestand bevindt zich op: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Voorbeeldinvoer:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLostep_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Implementeer naar Apify (cloud)

apify login
apify push

Open dan Apify Console → Actors → voer de actor uit met je gewenste invoer.

Voer uit in Apify Console (stap voor stap)

Open je Actor in Apify Console → Bron → Invoer.
In het handmatige tabblad zie je een zichtbaar veld “Olostep API Key”. Plak je sleutel van het Olostep Dashboard.
Kies een operatie (standaard is “scrape”).
Vul de relevante velden in (voor “scrape”, stel “URL to Scrape” in).
Klik op Opslaan → Start.
Wanneer de run is voltooid, open je het Dataset-tabblad om resultaten te downloaden (JSON/CSV/Excel).

Opmerkingen:

Voor “URL to Scrape” kun je plakken met of zonder schema. Als het ontbreekt, voegt de actor automatisch https:// toe.
Als een site zwaar is in JavaScript en je ziet een timeout, stel “Wait Before Scraping” in op 2000–5000 ms en voer opnieuw uit.

Beschikbare operaties

Website Scrapen

Haal inhoud op van een enkele URL. Geweldig voor paginaniveau-automatisering.

constant

standaard:"scrape"

Moet “scrape” zijn

string

vereist

Je Olostep API-sleutel (Bearer)

string

vereist

De URL om te scrapen (moet http:// of https:// bevatten)

dropdown

standaard:"markdown"

Eén van: Markdown, HTML, JSON, Tekst

string

Optionele landcode (bijv., “US”, “GB”, “CA”)

integer

Optionele wachttijd in ms voor JavaScript-rendering (0–10000)

string

Optionele parser-ID (bijv., “@olostep/amazon-product”)

Uitvoervelden:

id, url, status, formats
markdown_content / html_content / json_content / text_content
gehoste URL’s (indien beschikbaar), paginametadata

Batch Scrape URLs

Verwerk veel URL’s tegelijk met consistente opmaak en structuur.

constant

standaard:"batch"

Moet “batch” zijn

string

vereist

Je Olostep API-sleutel

text

vereist

JSON-array van objecten met url en optionele custom_id
Voorbeeld: [{"url":"https://example.com","custom_id":"site1"}]

dropdown

standaard:"markdown"

Eén van: Markdown, HTML, JSON, Tekst

string

Optionele landcode

integer

Optionele wachttijd in ms voor JS-sites

string

Optionele parser-ID

Uitvoervelden:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

Crawl Maken

Volg links en scrape meerdere pagina’s vanaf een start-URL.

constant

standaard:"crawl"

Moet “crawl” zijn

string

vereist

Je Olostep API-sleutel

string

vereist

Start-URL voor de crawl

integer

standaard:"10"

Maximaal aantal pagina’s om te crawlen. Stel in op 1 om alleen de start-URL te scrapen.

dropdown

standaard:"markdown"

Eén van: Markdown, HTML, JSON, Tekst

string

Optionele landcode

string

Optionele parser-ID

Uitvoervelden:

crawl_id, object, status, start_url, max_pages, created, formats

Kaart Maken

Ontdek alle URL’s op een website en bereid voor op latere batch-scraping.

constant

standaard:"map"

Moet “map” zijn

string

vereist

Je Olostep API-sleutel

string

vereist

De website om in kaart te brengen

string

Optionele zoekopdrachtfilter

integer

Beperk aantal URL’s

string

Opnemen glob(s), bijv. “/products/**”

string

Uitsluiten glob(s), bijv. “/admin/**”

Uitvoervelden:

map_id, object, website_url, total_urls, urls[], search_query, top_n

Kopieer-plak JSON-voorbeelden (Console → Invoer → JSON)

Scrape

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Batch

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "formats": "markdown"
}

Map

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Antwoorden

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "What is the latest funding round of Olostep? Provide company, round, date, amount.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Voorbeeld workflows

Ontdek en Scrape Producten

Kaart Maken → inclusief “/products/**”
Parseer URL’s → bouw batch-array
Batch Scrape URLs → formats: JSON
Stuur naar Google Sheets / Airtable

Dagelijkse Inhoud Monitoring

Plan actor (dagelijks)
Scrape Website → formats: Markdown
Samenvatten met LLM
Meld op Slack

Concurrent Knowledge Base

Crawl Maken (blog/docs)
Bewaar outputs in Notion
Wekelijks vernieuwen met Schema

Gespecialiseerde parsers

Olostep ondersteunt parsers om gegevens voor populaire sites te structureren.

Amazon Product

@olostep/amazon-product → titel, prijs, beoordeling, reviews, afbeeldingen, varianten

Google Search

@olostep/google-search → resultaten, titels, snippets, URL’s

Google Maps

@olostep/google-maps → bedrijfsinformatie, reviews, beoordelingen, locatie

Meer Parsers

Ontdek e-mailextractors, sociale handle finders, kalenderlinkextractors en meer

Best practices

Geef de voorkeur aan batch voor 3+ URL's

Sneller, goedkoper, gemakkelijker te monitoren en respecteer rate limits.

Gebruik geschikte wachttijden

JS-zware sites: verhoog wait_before_scraping (bijv., 2000–5000ms).

Filter voordat je scrapt

Vermijd onnodige taken — controleer eerst wijzigingen, houd deduplicatiestatus bij.

Bewaar grote inhoud via gehoste URL's

Gebruik gehoste outputs om payloadgroottebeperkingen in Apify-flows te omzeilen.

Behandel asynchrone operaties als langlopend

Batch/Crawl/Map retourneert ID’s; haal later op of koppel met een vertraging.

Behandel tijdelijke timeouts netjes

Als je een 504 of tijdelijke timeout ziet, probeert de actor automatisch opnieuw met een korte wachttijd.
Je kunt ook “Wait Before Scraping” instellen op 2000–5000 ms voor JS-zware pagina’s.

Problemen oplossen

Authenticatie mislukt

Controleer API-sleutel van dashboard
Verwijder spaties aan het einde
Voer opnieuw in in Apify invoervorm

Lege inhoud

Verhoog wachttijd
Controleer of URL openbaar is / niet inlog-gated
Probeer een ander uitvoerformaat

Rate limit overschreden

Ruimte runs via schema
Geef de voorkeur aan batch voor veel URL’s
Upgrade Olostep-plan indien nodig

Geblokkeerde of dynamische sites

Probeer landparameter
Pas wacht en parser aan
Neem contact op met ondersteuning voor begeleiding

Prijzen

Olostep rekent per API-gebruik (onafhankelijk van Apify):

Scrapes → per scrape
Batches → per URL
Crawls → per pagina
Maps → per operatie

Zie https://www.olostep.com/pricing.

Beveiliging

Je API-sleutel wordt als Bearer-token verzonden tijdens runtime.
Commit geen sleutels naar versiebeheer; Apify slaat invoer op in Key‑Value Store.
In lokale ontwikkeling, houd sleutels in storage/key_value_stores/default/INPUT.json (gitignored).

Gerelateerde bronnen

Scrapes API

Haal LLM-vriendelijke Markdown, HTML, tekst of gestructureerde JSON op van elke URL.

Batches API

Verwerk tot 10k URL’s gelijktijdig en haal resultaten later op.

Crawls API

Ontdek en scrape de inhoud van een site recursief.

Maps API

Verkrijg alle URL’s op een website om batch-scrapes voor te bereiden.

Ondersteuning

Apify Website

Apify platform

Apify Docs

Apify platform & SDK documentatie

Documentatie

Volledige API-documentatie

Ondersteuningsmail

info@olostep.com

​Wat je kunt bouwen

Website Scrapen

Batch Scrape URLs

Crawl Maken

Kaart Maken

AI-gestuurde Antwoorden

​Snelle start

​1) Installeer Apify CLI

​2) Verkrijg je Olostep API-sleutel

​3) Voer de Olostep Actor lokaal uit

​4) Implementeer naar Apify (cloud)

​Voer uit in Apify Console (stap voor stap)

​Beschikbare operaties

​Website Scrapen

​Batch Scrape URLs

​Crawl Maken

​Kaart Maken

​Kopieer-plak JSON-voorbeelden (Console → Invoer → JSON)

​Scrape

​Batch

​Crawl

​Map

​Antwoorden

​Voorbeeld workflows

​Gespecialiseerde parsers

Amazon Product

Google Search

Google Maps

Meer Parsers

​Best practices

​Problemen oplossen

​Prijzen

​Beveiliging

​Gerelateerde bronnen

Scrapes API

Batches API

Crawls API

Maps API

​Ondersteuning

Apify Website

Apify Docs

Documentatie

Ondersteuningsmail

Wat je kunt bouwen

Snelle start

1) Installeer Apify CLI

2) Verkrijg je Olostep API-sleutel

3) Voer de Olostep Actor lokaal uit

4) Implementeer naar Apify (cloud)

Voer uit in Apify Console (stap voor stap)

Beschikbare operaties

Website Scrapen

Batch Scrape URLs

Crawl Maken

Kaart Maken

Kopieer-plak JSON-voorbeelden (Console → Invoer → JSON)

Scrape

Batch

Crawl

Map

Antwoorden

Voorbeeld workflows

Gespecialiseerde parsers

Best practices

Problemen oplossen

Prijzen

Beveiliging

Gerelateerde bronnen

Ondersteuning