Gebruik van LLM-extractie

Voor websites met veranderende structuren of eenmalige extractiebehoeften biedt Olostep LLM-gestuurde extractie. Deze benadering:

Voert de inhoud aan een Large Language Model
Geeft het model de instructie om alleen de gespecificeerde gegevens te parseren en terug te geven
Levert een schoon JSON-structuur die precies bevat wat je nodig hebt

import requests
import json

def extract_with_llm():
    url = "https://api.olostep.com/v1/scrapes"

    headers = {
        "Authorization": "Bearer <API_KEY>",
        "Content-Type": "application/json"
    }

    data = {
        "url_to_scrape": "https://www.berklee.edu/events/stefano-marchese-friends",
        "formats": [
            "markdown", 
            "json"
        ],
        "llm_extract": {
            "schema": {
                "type": "object",
                "properties": {
                    "event": {
                        "type": "object",
                        "properties": {
                            "title": {"type": "string"},
                            "date": {"type": "string"},
                            "description": {"type": "string"},
                            "venue": {"type": "string"},
                            "address": {"type": "string"},
                            "start_time": {"type": "string"},
                        },
                    }
                },
            }
        },
    }

    response = requests.post(url, headers=headers, json=data)
    result = response.json()

    # De LLM-extractie zal beschikbaar zijn in het resultaat
    print(json.dumps(result, indent=2))

    return result

if __name__ == "__main__":
    extract_with_llm()

Je kunt ofwel het schema of een prompt aan de LLM doorgeven.

import requests
import json

def extract_with_llm():
    url = "https://api.olostep.com/v1/scrapes"

    headers = {
        "Authorization": "Bearer <API_KEY>",
        "Content-Type": "application/json"
    }

    data = {
        "url_to_scrape": "https://www.berklee.edu/events/stefano-marchese-friends",
        "formats": [
            "markdown", 
            "json"
        ],
        "llm_extract": {
            "prompt": "Haal de titel van het evenement, datum, beschrijving, locatie, adres en starttijd van de evenementpagina."
        },
    }

    response = requests.post(url, headers=headers, json=data)
    result = response.json()

    # De LLM-extractie zal beschikbaar zijn in het resultaat
    print(json.dumps(result, indent=2))

    return result

if __name__ == "__main__":
    extract_with_llm()

De prompt is een natuurlijke taalstring die aan de LLM wordt doorgegeven om de gegevens te extraheren. De LLM beslist hoe de gegevens worden geëxtraheerd op basis van de prompt. Je kunt dit gebruiken wanneer je geen schema wilt gebruiken. Voorbeeldantwoord:

{
    "id": "scrape_94iqy385ty",
    ...
    "result": {
        "json_content":  "{\"event\":{\"title\":\"Stefano Marchese and Friends\",\"date\":\"Woensdag / 22 januari 2025\",\"description\":\"Sluit je aan bij de befaamde Italiaanse singer-songwriter en docent Stefano Marchese voor een onvergetelijke avond vol muzikale magie terwijl hij het podium betreedt naast een sterrenhemel van buitengewoon talent in een concert getiteld Concerto di Duetti.\",\"venue\":\"David Friend Recital Hall (DFRH)\",\"address\":\"921 Boylston Street Boston MA 02115 Verenigde Staten\",\"start_time\":\"19:30 uur (EST)\"}}"
    }
}

json_content is de geserialiseerde JSON-inhoud van het evenement. Je kunt er als een JSON-object toegang toe krijgen door de string te parseren.

import json

event = json.loads(result["json_content"])
print(event["event"]["title"])

Aan de slag

Functies

Saldo & Facturering

Gebruik van LLM-extractie