Olostep + Apify-integratie

Olostep is een Webzoek-, scraping- en crawling-API — een API om webdata te zoeken, extraheren en structureren. Deze gids laat zien hoe je Olostep met Apify Actors kunt gebruiken om betrouwbare webdatapijplijnen van begin tot eind te bouwen.

Wat je kunt bouwen

Website Scrapen

Haal inhoud op van elke enkele URL in Markdown, HTML, JSON of Tekst

Batch Scrapen van URLs

Verwerk grote lijsten van URLs parallel met gestructureerde uitkomsten

Crawl Maken

Ontdek en scrape gelinkte pagina’s om complete datasets te bouwen

Kaart Maken

Haal alle URLs van een website op (sitemap-achtige ontdekking)

AI-gestuurde Antwoorden

Stel vragen en krijg gestructureerde JSON-antwoorden met bronnen

Snelle start

1) Installeer Apify CLI

npm install -g apify-cli
apify --version

2) Verkrijg je Olostep API-sleutel

Van het Olostep Dashboard → API Keys.

3) Voer de Olostep Actor lokaal uit

cd olostep-tools/integrations/apify
apify run

Standaard lokaal invoerbestand bevindt zich op: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Voorbeeldinvoer:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLostep_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Implementeer naar Apify (cloud)

apify login
apify push

Open vervolgens Apify Console → Actors → voer de actor uit met je gewenste invoer.

Uitvoeren in Apify Console (stap voor stap)

Open je Actor in Apify Console → Source → Input.
In het Handmatige tabblad zie je een zichtbaar veld “Olostep API Key”. Plak je sleutel van het Olostep Dashboard.
Kies een operatie (standaard is “scrape”).
Vul de relevante velden in (voor “scrape”, stel “URL to Scrape” in).
Klik op Opslaan → Start.
Wanneer de uitvoering voltooid is, open het Dataset-tabblad om resultaten te downloaden (JSON/CSV/Excel).

Opmerkingen:

Voor “URL to Scrape” kun je plakken met of zonder schema. Als het ontbreekt, voegt de actor automatisch https:// toe.
Als een site zwaar is in JavaScript en je ziet een timeout, stel “Wait Before Scraping” in op 2000–5000 ms en voer opnieuw uit.

Beschikbare operaties

Website Scrapen

Haal inhoud op van een enkele URL. Geweldig voor paginaniveau-automatisering.

constant

standaard:"scrape"

Moet “scrape” zijn

string

vereist

Je Olostep API-sleutel (Bearer)

string

vereist

De URL om te scrapen (moet http:// of https:// bevatten)

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

string

Optionele landcode (bijv. “US”, “GB”, “CA”)

integer

Optionele wachttijd in ms voor JavaScript-rendering (0–10000)

string

Optionele parser-ID (bijv. “@olostep/amazon-product”)

Uitvoervelden:

id, url, status, formats
markdown_content / html_content / json_content / text_content
gehoste URLs (indien beschikbaar), paginametadata

Batch Scrapen van URLs

Verwerk veel URLs tegelijk met consistente opmaak en structuur.

constant

standaard:"batch"

Moet “batch” zijn

string

vereist

Je Olostep API-sleutel

text

vereist

JSON-array van objecten met url en optionele custom_id
Voorbeeld: [{"url":"https://example.com","custom_id":"site1"}]

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

string

Optionele landcode

integer

Optionele wachttijd in ms voor JS-sites

string

Optionele parser-ID

Uitvoervelden:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

Crawl Maken

Volg links en scrape meerdere pagina’s vanaf een start-URL.

constant

standaard:"crawl"

Moet “crawl” zijn

string

vereist

Je Olostep API-sleutel

string

vereist

Start-URL voor de crawl

integer

standaard:"10"

Maximaal aantal pagina’s om te crawlen. Stel in op 1 om alleen de start-URL te scrapen.

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

string

Optionele landcode

string

Optionele parser-ID

Uitvoervelden:

crawl_id, object, status, start_url, max_pages, created, formats

Kaart Maken

Ontdek alle URLs op een website en bereid voor op latere batch scraping.

constant

standaard:"map"

Moet “map” zijn

string

vereist

Je Olostep API-sleutel

string

vereist

De website om in kaart te brengen

string

Optionele zoekfilter

integer

Beperk aantal URLs

string

Inclusiepatroon/patronen, bijv. “/products/**”

string

Exclusiepatroon/patronen, bijv. “/admin/**”

Uitvoervelden:

map_id, object, website_url, total_urls, urls[], search_query, top_n

Kopieer-plak JSON-voorbeelden (Console → Input → JSON)

Scrape

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Batch

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "formats": "markdown"
}

Map

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Antwoorden

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "What is the latest funding round of Olostep? Provide company, round, date, amount.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Voorbeeld workflows

Ontdek en Scrape Producten

Maak Kaart → include “/products/**”
Parseer URLs → bouw batch-array
Batch Scrapen van URLs → formats: JSON
Stuur naar Google Sheets / Airtable

Dagelijkse Inhoud Monitoring

Plan actor (dagelijks)
Scrape Website → formats: Markdown
Samenvatten met LLM
Meld op Slack

Concurrentie Kennisbank

Maak Crawl (blog/docs)
Sla outputs op in Notion
Vernieuw wekelijks met Schema

Gespecialiseerde parsers

Olostep ondersteunt parsers om data te structureren voor populaire sites.

Amazon Product

@olostep/amazon-product → titel, prijs, beoordeling, recensies, afbeeldingen, varianten

Google Zoeken

@olostep/google-search → resultaten, titels, fragmenten, URLs

Google Maps

@olostep/google-maps → bedrijfsinformatie, recensies, beoordelingen, locatie

Meer Parsers

Ontdek e-mail extractors, sociale media handle finders, kalenderlink extractors, en meer

Beste praktijken

Geef de voorkeur aan batch voor 3+ URLs

Sneller, goedkoper, gemakkelijker te monitoren en respecteer rate limits.

Gebruik geschikte wachttijden

JS-zware sites: verhoog wait_before_scraping (bijv. 2000–5000ms).

Filter voordat je gaat scrapen

Vermijd onnodige taken — controleer eerst wijzigingen, houd deduplicatiestatus bij.

Sla grote inhoud op via gehoste URLs

Gebruik gehoste outputs om payload-groottebeperkingen in Apify-flows te omzeilen.

Behandel asynchrone operaties als langlopend

Batch/Crawl/Map geven IDs terug; haal later op of koppel met een vertraging.

Behandel tijdelijke timeouts netjes

Als je een 504 of tijdelijke timeout ziet, probeert de actor automatisch één keer opnieuw met een korte wachttijd.
Je kunt ook “Wait Before Scraping” instellen op 2000–5000 ms voor JS-zware pagina’s.

Probleemoplossing

Authenticatie mislukt

Controleer API-sleutel van dashboard
Verwijder spaties aan het einde
Voer opnieuw in in Apify-invoervorm

Lege inhoud

Verhoog wachttijd
Controleer of URL openbaar is / niet login-beveiligd
Probeer een ander uitvoerformaat

Rate limit overschreden

Ruim uitvoeringen in via schema
Geef de voorkeur aan batch voor veel URLs
Upgrade Olostep-plan indien nodig

Geblokkeerde of dynamische sites

Probeer landparameter
Pas wacht en parser aan
Neem contact op met ondersteuning voor begeleiding

Prijzen

Olostep rekent per API-gebruik (onafhankelijk van Apify):

Scrapes → per scrape
Batches → per URL
Crawls → per pagina
Maps → per operatie

Zie https://www.olostep.com/pricing.

Beveiliging

Je API-sleutel wordt als Bearer-token verzonden tijdens runtime.
Commits geen sleutels naar versiebeheer; Apify slaat invoeren op in Key‑Value Store.
In lokale ontwikkeling, houd sleutels in storage/key_value_stores/default/INPUT.json (gitignored).

Gerelateerde bronnen

Scrapes API

Haal LLM-vriendelijke Markdown, HTML, tekst of gestructureerde JSON op van elke URL.

Batches API

Verwerk tot 100k URLs gelijktijdig en haal resultaten later op.

Crawls API

Ontdek en scrape de inhoud van een site recursief.

Maps API

Verkrijg alle URLs op een website om batch scrapes voor te bereiden.

Ondersteuning

Apify Website

Apify platform

Apify Docs

Apify platform & SDK docs

Documentatie

Volledige API-documentatie

Ondersteuning E-mail

info@olostep.com

​Wat je kunt bouwen

Website Scrapen

Batch Scrapen van URLs

Crawl Maken

Kaart Maken

AI-gestuurde Antwoorden

​Snelle start

​1) Installeer Apify CLI

​2) Verkrijg je Olostep API-sleutel

​3) Voer de Olostep Actor lokaal uit

​4) Implementeer naar Apify (cloud)

​Uitvoeren in Apify Console (stap voor stap)

​Beschikbare operaties

​Website Scrapen

​Batch Scrapen van URLs

​Crawl Maken

​Kaart Maken

​Kopieer-plak JSON-voorbeelden (Console → Input → JSON)

​Scrape

​Batch

​Crawl

​Map

​Antwoorden

​Voorbeeld workflows

​Gespecialiseerde parsers

Amazon Product

Google Zoeken

Google Maps

Meer Parsers

​Beste praktijken

​Probleemoplossing

​Prijzen

​Beveiliging

​Gerelateerde bronnen

Scrapes API

Batches API

Crawls API

Maps API

​Ondersteuning

Apify Website

Apify Docs

Documentatie

Ondersteuning E-mail

Wat je kunt bouwen

Snelle start

1) Installeer Apify CLI

2) Verkrijg je Olostep API-sleutel

3) Voer de Olostep Actor lokaal uit

4) Implementeer naar Apify (cloud)

Uitvoeren in Apify Console (stap voor stap)

Beschikbare operaties

Website Scrapen

Batch Scrapen van URLs

Crawl Maken

Kaart Maken

Kopieer-plak JSON-voorbeelden (Console → Input → JSON)

Scrape

Batch

Crawl

Map

Antwoorden

Voorbeeld workflows

Gespecialiseerde parsers

Beste praktijken

Probleemoplossing

Prijzen

Beveiliging

Gerelateerde bronnen

Ondersteuning