Naar hoofdinhoud gaan

​
Overzicht

Olostep’s scrape endpoint maakt het mogelijk om inhoud van elke website te extraheren. Inhoud in markdown is nuttig als je het aan een LLM wilt voeren zonder alle HTML. In deze gids zullen we zien hoe je markdown van een website zoals https://www.nea.com/team kunt extraheren.

​
Vereisten

Voordat je begint, zorg ervoor dat je het volgende hebt:
  • Een geldige Olostep API-sleutel. Je kunt er een krijgen door je aan te melden bij Olostep.
  • Python geïnstalleerd op je systeem
  • De requests en json bibliotheken (deze zijn vooraf geïnstalleerd met Python, maar je kunt ze installeren met pip install requests indien nodig)

​
Tekst van een Website Extraheren

Het volgende Python-script demonstreert hoe je tekst en markdown-inhoud van een website kunt extraheren met behulp van Olostep’s API. 
import requests
import json

url = "https://api.olostep.com/v1/scrapes"

payload = {
    "url_to_scrape": "https://www.nea.com/team",
    "country": "US",
    "formats": ["markdown"],
    "wait_before_scraping": 0,
    "remove_css_selectors": "default",
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.request("POST", url, json=payload, headers=headers)

print(json.dumps(response.json(), indent=4))

​
Voorbeeld Antwoord

Een succesvol antwoord ziet er ongeveer zo uit: 
{
    "id": "scrape_63x2e5sf5r",
    "object": "scrape",
    "created": 1740341743,
    "metadata": {},
    "retrieve_id": "63x2e5sf5r",
    "url_to_scrape": "https://www.nea.com/team",
    "result": {
        "html_content": null,
        "markdown_content": "NEA ….",
        "text_content": null,
        "json_content": null,
        "llm_extract": null,
        "screenshot_hosted_url": null,
        "html_hosted_url": null,
        "markdown_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/markDown_63x2e5sf5r.txt",
        "json_hosted_url": null,
        "text_hosted_url": null,
        "links_on_page": [],
        "page_metadata": {
            "status_code": 200,
            "title": ""
        }
    }
}

​
Uitleg

  • url_to_scrape: specificeert de website-URL waarvan de inhoud moet worden geëxtraheerd.
  • formats: definieert de uitvoerformaten (tekst in dit geval).
  • Authorization: bevat je API-sleutel om het verzoek te authentiseren.
  • De reactie is geformatteerd als JSON en wordt afgedrukt voor leesbaarheid.

​
Conclusie

Met Olostep kun je eenvoudig markdown-inhoud van elke website extraheren. Dit is nuttig als je inhoud van een website wilt verkrijgen en deze aan een LLM wilt voeren voor data-extractie en analyse. Als je inhoud op grote schaal van dezelfde website wilt extraheren (bijv. monitoring van gegevens, prijsbewaking, etc…) raden we aan om een aangepaste parser te gebruiken om de inhoud in JSON-formaat te krijgen.