Documentation Index
Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
Use this file to discover all available pages before exploring further.
Google-Scraper mit Olostep
Diese Anleitung zeigt, wie man die Olostep-API verwendet, um Google-Suchergebnisse zu scrapen und in strukturierte JSON-Daten zu parsen. Dies ist besonders nützlich für die Automatisierung von Rechercheaufgaben, das Sammeln von Wettbewerbsinformationen oder den Aufbau von Anwendungen, die Suchdaten benötigen.Funktionsweise
Das folgende Beispiel in Javascript zeigt, wie man nach einer LinkedIn-Profil-URL einer bestimmten Person (Patrick Collison) mit Google-Suche und Olosteps Google-Suchparser@olostep/google-search sucht.
Antwortformat
Wenn Sie eine Anfrage an die Olostep-API mit dem Google-Suchparser stellen, erhalten Sie eine JSON-Antwort wie im folgenden Beispiel:- Grundlegende Anfrageninformationen:
id,object,created-Zeitstempel,url_to_scrape - Ergebnisobjekt mit URLs zum Zugriff auf verschiedene Datenformate
- json_content mit strukturierten Suchergebnissen einschließlich:
searchParameters: Informationen zur SuchanfrageknowledgeGraph: Detaillierte Informationen zum Suchobjekt (falls verfügbar)organic: Liste der Suchergebnisse mit Titel, Link, Position und SnippetpeopleAlsoAsk: Verwandte Fragen, die Benutzer häufig suchenrelatedSearches: Vorgeschlagene verwandte Suchanfragen
json_content ist der Hauptteil der Antwort mit den strukturierten Suchergebnissen. Sie können den JSON-Inhalt direkt aus der Antwort abrufen oder die bereitgestellte gehostete URL verwenden.
Strukturierte Antwort: json_content
json_hosted_url in der Antwort zugreifen:
- Strukturierte JSON: Beispiel-JSON anzeigen
formats einschließen, und Olostep wird sie in der Antwort zurückgeben und gehostete URLs für jedes Format bereitstellen.
Beispielanwendungsszenarien
1. Finden von LinkedIn-Profilen
Im obigen Beispiel suchen wir nach Patrick Collisons LinkedIn-Profil, indem wir die Suchanfragesite:linkedin.com Patrick Collison verwenden. Diese Technik kann verwendet werden, um professionelle Profile für jede Person zu finden.
2. Recherche von Unternehmen
Sie können die Abfrage ändern, um nach Unternehmensinformationen zu suchen:3. Verfolgen von Nachrichtenartikeln
Finden Sie aktuelle Nachrichten zu einem bestimmten Thema:4. Wettbewerbsanalyse
Überwachen Sie die Online-Präsenz von Wettbewerbern:Wichtige Hinweise
- Suchparameter: Die Parameter
gl=usundhl=ensetzen die Geolokalisierung auf die USA und die Sprache auf Englisch. Passen Sie diese nach Bedarf an.
Fazit
Sobald Sie die Suchergebnisdaten haben, können Sie:- Spezifische Datenpunkte von Interesse parsen
- Die Ergebnisse in einer Datenbank speichern
- Eine benutzerdefinierte Suchoberfläche erstellen
- Aktionen basierend auf Suchergebnissen auslösen
- Integration mit anderen APIs oder Diensten