/v1/searches eindpunt laat je het web doorzoeken met een natuurlijke taalvraag en geeft een gededupliceerde lijst van relevante links met titels en beschrijvingen terug.
- Stuur een vraag in eenvoudig Engels
- Krijg gestructureerde links terug van over het hele web
- Optioneel kun je elke geretourneerde URL in één keer scrapen en
markdown_content/html_contentdirect in de respons opnemen - Filter op domein, bepaal het aantal resultaten en stel de scraping tijdslimiet in
Installatie
Basisgebruik
Stuur een natuurlijke taalvraag en ontvang een lijst met relevante links.Verzoekparameters
Het aantal resultaten beperken
Filteren op domein
include_domains beperkt resultaten tot een whitelist; exclude_domains filtert ongewenste bronnen eruit. Ze kunnen gecombineerd worden.
scrape_options
Geefscrape_options door om elke geretourneerde URL parallel te scrapen en de gerenderde inhoud direct op elke link in te bedden. Dit bespaart een round-trip per resultaat in vergelijking met het apart aanroepen van /v1/searches en /v1/scrapes.
Gedrag
- Alle links worden parallel gescraped. De
timeoutbeperkt de hele batch, niet elke individuele link. - Per-link scrape-fouten (netwerkfouten, individuele pagina time-outs) laten de
markdown_content/html_contentvan die link alsnullterwijl andere links normaal terugkeren. - Als de globale
timeoutverstrijkt voordat alle scrapes voltooid zijn, reageert de zoekopdracht onmiddellijk met de links die het heeft — reeds voltooide scrapes behouden hun inhoud; in-behandeling zijnde komen terug metnullinhoud. - Voor
reddit.com/.../comments/...URL’s wordt het verzoek automatisch doorgestuurd via de@olostep/reddit-postparser en de gestructureerde JSON wordt gerenderd in schone markdown + basis HTML - Als de gecombineerde inline inhoud meer dan 9MB overschrijdt, worden inhoudsvelden genulled,
result.size_exceededwordt ingesteld optrue, en je kunt de volledige payload ophalen vanresult.json_hosted_url.
Voorbeeld met scraping
Respons
Je ontvangt eensearch object als respons. Het search object bevat een id, je originele query, credits_consumed, en een result met een lijst van links.
result.links bevat:
Het volledige resultaat is ook beschikbaar als een gehost JSON-bestand op
result.json_hosted_url — handig wanneer result.size_exceeded true is.
Een eerdere zoekopdracht ophalen
GET /v1/searches/{search_id} retourneert wat er op het moment van zoeken is opgeslagen, inclusief eventuele gescrapete inhoud. Het is een puur idempotente leesactie — geen opnieuw scrapen, geen opnieuw factureren. Oudere zoekopdrachten zonder scrape_options hebben simpelweg geen per-link inhoudsvelden.
Prijsstelling
Elke zoekopdracht kost 5 credits voor de zoekopdracht zelf. Wanneerscrape_options is opgegeven, wordt elke gescrapete pagina gefactureerd tegen het standaardtarief van /v1/scrapes (meestal 1 credit per pagina; sommige parsers kosten meer). Het totaal wordt geretourneerd in credits_consumed.
Voorbeelden: