Apify-integratie - Olostep Docs

Olostep is een Webzoek-, scraping- en crawling-API — een API om webgegevens te zoeken, extraheren en structureren. Deze gids laat zien hoe je Olostep met Apify Actors kunt gebruiken om betrouwbare webgegevenspijplijnen van begin tot eind te bouwen.

Wat je kunt bouwen

Website Scrapen

Haal inhoud op van elke enkele URL in Markdown, HTML, JSON of Tekst

Batch Scrape URLs

Verwerk grote lijsten van URL’s parallel met gestructureerde outputs

Crawl Maken

Ontdek en scrape gekoppelde pagina’s om volledige datasets te bouwen

Maak Kaart

Haal alle URL’s van een website op (sitemap-achtige ontdekking)

AI-gestuurde Antwoorden

Stel vragen en krijg gestructureerde JSON-antwoorden met bronnen

Snelle start

1) Installeer Apify CLI

npm install -g apify-cli
apify --version

2) Verkrijg je Olostep API-sleutel

Vanuit het Olostep Dashboard → API-sleutels.

3) Voer de Olostep Actor lokaal uit

cd olostep-tools/integrations/apify
apify run

Standaard lokaal invoerbestand bevindt zich op: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Voorbeeldinvoer:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Implementeer naar Apify (cloud)

apify login
apify push

Open vervolgens Apify Console → Actors → voer de actor uit met je gewenste invoer.

Voer uit in Apify Console (stap voor stap)

Open je Actor in Apify Console → Bron → Invoer.
In het Handmatige tabblad zie je een zichtbaar veld “Olostep API Key”. Plak je sleutel van het Olostep Dashboard.
Kies een operatie (standaard is “scrape”).
Vul de relevante velden in (voor “scrape”, stel “URL om te Scrapen” in).
Klik op Opslaan → Start.
Wanneer de uitvoering is voltooid, open het Dataset-tabblad om resultaten te downloaden (JSON/CSV/Excel).

Opmerkingen:

Voor “URL om te Scrapen” kun je plakken met of zonder schema. Als het ontbreekt, voegt de actor automatisch https:// toe.
Als een site zwaar is in JavaScript en je ziet een timeout, stel “Wacht Voor Scraping” in op 2000–5000 ms en voer opnieuw uit.

Beschikbare operaties

Website Scrapen

Haal inhoud op van een enkele URL. Geweldig voor pagina-niveau automatisering.

operation

constant

standaard:"scrape"

Moet “scrape” zijn

apiKey

string

vereist

Je Olostep API-sleutel (Bearer)

url_to_scrape

string

vereist

De URL om te scrapen (moet http:// of https:// bevatten)

formats

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

country

string

Optionele landcode (bijv., “US”, “GB”, “CA”)

wait_before_scraping

integer

Optionele wachttijd in ms voor JavaScript-rendering (0–10000)

parser

string

Optionele parser-ID (bijv., “@olostep/amazon-product”)

Uitvoervelden:

id, url, status, formats
markdown_content / html_content / json_content / text_content
gehoste URL’s (indien beschikbaar), paginametadata

Batch Scrape URLs

Verwerk veel URL’s tegelijk met consistente opmaak en structuur.

operation

constant

standaard:"batch"

Moet “batch” zijn

apiKey

string

vereist

Je Olostep API-sleutel

batch_array

text

vereist

JSON-array van objecten met url en optionele custom_id
Voorbeeld: [{"url":"https://example.com","custom_id":"site1"}]

formats

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

country

string

Optionele landcode

wait_before_scraping

integer

Optionele wachttijd in ms voor JS-sites

parser

string

Optionele parser-ID

Uitvoervelden:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

Crawl Maken

Volg links en scrape meerdere pagina’s vanaf een start-URL.

operation

constant

standaard:"crawl"

Moet “crawl” zijn

apiKey

string

vereist

Je Olostep API-sleutel

start_url

string

vereist

Start-URL voor de crawl

max_pages

integer

standaard:"10"

Maximaal aantal pagina’s om te crawlen

follow_links

boolean

standaard:"true"

Volg links op de pagina

formats

dropdown

standaard:"markdown"

Een van: Markdown, HTML, JSON, Tekst

country

string

Optionele landcode

parser

string

Optionele parser-ID

Uitvoervelden:

crawl_id, object, status, start_url, max_pages, follow_links, created, formats

Maak Kaart

Ontdek alle URL’s op een website en bereid voor op latere batch scraping.

operation

constant

standaard:"map"

Moet “map” zijn

apiKey

string

vereist

Je Olostep API-sleutel

website_url

string

vereist

De website om in kaart te brengen

search_query

string

Optioneel zoekfilter

top_n

integer

Beperk aantal URL’s

include_patterns

string

Inclusie glob(s), bijv. “/products/**”

exclude_patterns

string

Exclusie glob(s), bijv. “/admin/**”

Uitvoervelden:

map_id, object, website_url, total_urls, urls[], search_query, top_n

Kopiëren-plakken JSON-voorbeelden (Console → Invoer → JSON)

Scrape

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Batch

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "follow_links": true,
  "formats": "markdown"
}

Map

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Antwoorden

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "Wat is de laatste financieringsronde van Olostep? Geef bedrijf, ronde, datum, bedrag.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Voorbeeld workflows

Ontdek en Scrape Producten

Maak Kaart → include “/products/**”
Parse URL’s → bouw batch array
Batch Scrape URL’s → formats: JSON
Stuur naar Google Sheets / Airtable

Dagelijkse Inhoud Monitoring

Plan actor (dagelijks)
Scrape Website → formats: Markdown
Samenvatten met LLM
Meld op Slack

Concurrentie Kennisbank

Maak Crawl (blog/docs)
Sla outputs op in Notion
Vernieuw wekelijks met Schema

Gespecialiseerde parsers

Olostep ondersteunt parsers om gegevens te structureren voor populaire sites.

Amazon Product

@olostep/amazon-product → titel, prijs, beoordeling, recensies, afbeeldingen, varianten

Google Zoeken

@olostep/google-search → resultaten, titels, fragmenten, URL’s

Google Maps

@olostep/google-maps → bedrijfsinformatie, recensies, beoordelingen, locatie

Meer Parsers

Verken e-mail extractors, sociale handvatzoekers, kalenderlink extractors en meer

Beste praktijken

Geef de voorkeur aan batch voor 3+ URL's

Sneller, goedkoper, gemakkelijker te monitoren en respecteer snelheidslimieten.

Gebruik geschikte wachttijden

JS-zware sites: verhoog wait_before_scraping (bijv., 2000–5000ms).

Filter voordat je scrapt

Vermijd onnodige taken — controleer eerst wijzigingen, houd deduplicatiestatus bij.

Sla grote inhoud op via gehoste URL's

Gebruik gehoste outputs om payloadgroottebeperkingen in Apify-flows te omzeilen.

Behandel asynchrone operaties als langlopend

Batch/Crawl/Map retourneren ID’s; haal later op of koppel met een vertraging.

Behandel tijdelijke timeouts netjes

Als je een 504 of tijdelijke timeout ziet, probeert de actor automatisch één keer opnieuw met een korte wachttijd.
Je kunt ook “Wacht Voor Scraping” instellen op 2000–5000 ms voor JS-zware pagina’s.

Probleemoplossing

Authenticatie mislukt

Controleer API-sleutel van dashboard
Verwijder spaties aan het einde
Voer opnieuw in in Apify invoerformulier

Lege inhoud

Verhoog wachttijd
Controleer of URL openbaar is / niet login-afgeschermd
Probeer een ander uitvoerformaat

Snelheidslimiet overschreden

Spreid runs via schema
Geef de voorkeur aan batch voor veel URL’s
Upgrade Olostep-plan indien nodig

Geblokkeerde of dynamische sites

Probeer landparameter
Pas wacht en parser aan
Neem contact op met ondersteuning voor begeleiding

Prijzen

Olostep rekent per API-gebruik (onafhankelijk van Apify):

Scrapes → per scrape
Batches → per URL
Crawls → per pagina
Maps → per operatie

Zie https://olostep.com/pricing.

Beveiliging

Je API-sleutel wordt als Bearer-token verzonden tijdens runtime.
Commit geen sleutels naar versiebeheer; Apify slaat invoer op in Key-Value Store.
In lokale ontwikkeling, houd sleutels in storage/key_value_stores/default/INPUT.json (gitignored).

Gerelateerde bronnen

Scrapes API

Haal LLM-vriendelijke Markdown, HTML, tekst of gestructureerde JSON op van elke URL.

Batches API

Verwerk tot 10k URL’s gelijktijdig en haal resultaten later op.

Crawls API

Ontdek en scrape de inhoud van een site recursief.

Maps API

Verkrijg alle URL’s op een website om batch scrapes voor te bereiden.

Ondersteuning

Documentatie

Volledige API-documentatie

Ondersteuning E-mail

info@olostep.com

Statuspagina

Controleer platformstatus

Apify Docs

Apify platform & SDK documentatie

Aan de slag

Functies

Integraties

​Wat je kunt bouwen

Website Scrapen

Batch Scrape URLs

Crawl Maken

Maak Kaart

AI-gestuurde Antwoorden

​Snelle start

​1) Installeer Apify CLI

​2) Verkrijg je Olostep API-sleutel

​3) Voer de Olostep Actor lokaal uit

​4) Implementeer naar Apify (cloud)

​Voer uit in Apify Console (stap voor stap)

​Beschikbare operaties

​Website Scrapen

​Batch Scrape URLs

​Crawl Maken

​Maak Kaart

​Kopiëren-plakken JSON-voorbeelden (Console → Invoer → JSON)

​Scrape

​Batch

​Crawl

​Map

​Antwoorden

​Voorbeeld workflows

​Gespecialiseerde parsers

Amazon Product

Google Zoeken

Google Maps

Meer Parsers

​Beste praktijken

​Probleemoplossing

​Prijzen

​Beveiliging

​Gerelateerde bronnen

Scrapes API

Batches API

Crawls API

Maps API

​Ondersteuning

Documentatie

Ondersteuning E-mail

Statuspagina

Apify Docs

Wat je kunt bouwen

Snelle start

1) Installeer Apify CLI

2) Verkrijg je Olostep API-sleutel

3) Voer de Olostep Actor lokaal uit

4) Implementeer naar Apify (cloud)

Voer uit in Apify Console (stap voor stap)

Beschikbare operaties

Website Scrapen

Batch Scrape URLs

Crawl Maken

Maak Kaart

Kopiëren-plakken JSON-voorbeelden (Console → Invoer → JSON)

Scrape

Batch

Crawl

Map

Antwoorden

Voorbeeld workflows

Gespecialiseerde parsers

Beste praktijken

Probleemoplossing

Prijzen

Beveiliging

Gerelateerde bronnen

Ondersteuning