import requests
import time
import json
from datetime import datetime
import os
from concurrent.futures import ThreadPoolExecutor, as_completed
# Konfiguration
API_URL = 'https://api.olostep.com/v1'
API_KEY = '<YOUR_API_KEY>'
HEADERS = {
'Content-Type': 'application/json',
'Authorization': f'Bearer {API_KEY}'
}
# Funktion zum Abrufen von Inhalten im Markdown-Format
def retrieve_content(retrieve_id, formats):
params = {
"retrieve_id": retrieve_id,
"formats": json.dumps(formats)
}
response = requests.get(f"{API_URL}/retrieve", headers=HEADERS, params=params)
return response.json()
# Fortsetzung des vorherigen Crawl-Beispiels
if status_data['status'] == 'completed':
print(f"\nCrawl abgeschlossen! {status_data['pages_count']} Seiten abgerufen.")
pages_response = requests.get(f'{API_URL}/crawls/{crawl_id}/pages', headers=HEADERS)
pages_data = pages_response.json()
# Ausgabeverzeichnis erstellen, falls es nicht existiert
os.makedirs("output", exist_ok=True)
# Vorbereitung zum Sammeln von Markdown-Inhalten
markdown_pages = []
total_pages = len(pages_data['pages'])
# Seiten parallel verarbeiten, um Markdown-Inhalte zu erhalten
with ThreadPoolExecutor(max_workers=10) as executor:
# Futures für Inhaltsabruf erstellen
future_to_page = {
executor.submit(retrieve_content, page['retrieve_id'], ["markdown"]): page
for page in pages_data['pages']
}
# Ergebnisse verarbeiten, sobald sie abgeschlossen sind
for i, future in enumerate(as_completed(future_to_page), 1):
page = future_to_page[future]
url = page['url']
print(f"Verarbeite {i}/{total_pages}: {url}")
try:
content_data = future.result()
if content_data and "markdown_content" in content_data:
markdown_pages.append({
'url': url,
'title': page['title'],
'markdown_content': content_data['markdown_content']
})
print(f"✓ Markdown-Inhalt abgerufen für {url}")
else:
print(f"⚠ Kein Markdown-Inhalt für {url}")
except Exception as e:
print(f"❌ Fehler beim Abrufen des Inhalts für {url}: {str(e)}")
# Alle Markdown-Inhalte in einer einzigen Datei speichern
output_file = "output/stripe_blog_markdown.md"
with open(output_file, "w", encoding="utf-8") as f:
for page in markdown_pages:
# Seitenkopf mit Titel und URL schreiben
f.write(f"URL: {page['url']}\n\n")
# Den Markdown-Inhalt schreiben
f.write(f"{page['markdown_content']}\n\n")
# Trennlinie zwischen den Seiten hinzufügen
f.write("---\n\n")
print(f"✓ Markdown-Inhalt von {page['url']} hinzugefügt")
print(f"\n✅ Prozess abgeschlossen! Alle Markdown-Inhalte wurden in '{output_file}' gespeichert")
print(f"Gesamtzahl der verarbeiteten Seiten: {len(markdown_pages)}")
else:
print(f"Crawl fehlgeschlagen mit Status: {status_data['status']}")