Raspador de Búsqueda de Google con Olostep

Esta guía demuestra cómo usar la API de Olostep para extraer resultados de búsqueda de Google y convertirlos en datos JSON estructurados. Esto es particularmente útil para automatizar tareas de investigación, recopilar inteligencia competitiva o construir aplicaciones que requieran datos de búsqueda.

Cómo Funciona

El ejemplo a continuación en Javascript muestra cómo buscar la URL de un perfil de LinkedIn de una persona específica (Patrick Collison) usando la búsqueda de Google y el analizador de búsqueda de Google de Olostep @olostep/google-search

async function scrapeGoogleSearch(apiKey, query = "site%3Alinkedin.com+Patrick+Collison") {
  const endpoint = "https://api.olostep.com/v1/scrapes";

  const payload = {
    "formats": ["json"],
    "parser": {"id": "@olostep/google-search"},
    "url_to_scrape": `https://www.google.com/search?q=${encodeURIComponent(query)}&gl=us&hl=en`,
    "wait_before_scraping": 0,
  };

  const headers = {
    "Authorization": `Bearer ${apiKey}`,
    "Content-Type": "application/json"
  };

  try {
    const response = await fetch(endpoint, {
      method: "POST",
      headers: headers,
      body: JSON.stringify(payload)
    });

    const data = await response.json();
    console.log(JSON.stringify(data, null, 4));
    return data;
  } catch (error) {
    console.error("Error:", error);
    throw error;
  }
}

// Reemplaza <API_KEY> con tu clave API de Olostep real
scrapeGoogleSearch("<API_KEY>");

Formato de Respuesta

Cuando realizas una solicitud a la API de Olostep con el analizador de Búsqueda de Google, recibirás una respuesta JSON como el ejemplo a continuación:

{
    "id": "scrape_f2xghz17kt",
    "object": "scrape",
    "created": 1742679301,
    "metadata": {},
    "retrieve_id": "f2xghz17kt",
    "url_to_scrape": "https://www.google.com/search?q=site%253Alinkedin.com%2BPatrick%2BCollison&gl=us&hl=en",
    "result": {
        "html_content": null,
        "markdown_content": null,
        "text_content": null,
        "json_content": "{\"searchParameters\":{\"type\":\"search\",\"engine\":\"google\",\"q\":\"site:linkedin.com Patrick Collison\"},\"knowledgeGraph\":{\"description\":\"Experience. Stripe Graphic · Stripe. -. Education. Massachusetts Institute of Technology Graphic · Massachusetts Institute of Technology. 2006 - 2010 ...\"},\"organic\":[{\"title\":\"Patrick Collison - Stripe\",\"link\":\"https://www.linkedin.com/in/patrickcollison\",\"position\":1,\"snippet\":\"Experience. Stripe Graphic · Stripe. -. Education. Massachusetts Institute of Technology Graphic · Massachusetts Institute of Technology. 2006 - 2010 ...\",\"meta\":\"10.8K+ followers\"},{\"title\":\"The Stripe Story: How Patrick Collison Revolutionized ...\",\"link\":\"https://www.linkedin.com/pulse/stripe-story-how-patrick-collison-revolutionized-online-anshuman-jha-jzzic\",\"position\":2,\"snippet\":\"The Early Years: A Genius in the Making. Patrick Collison wasn't just bright—he was a supernova. By age 10, he'd devoured university-level math ...\"},{\"title\":\"In 2005, Patrick Collison was a 16-year-old winning ...\",\"link\":\"https://www.linkedin.com/posts/itselanagold_in-2005-patrick-collison-was-a-16-year-old-activity-7308533537576497154-w5vC\",\"position\":3,\"snippet\":\"In 2005, Patrick Collison was a 16-year-old winning Ireland's Young Scientist of the Year competition. By 2008, he and his younger brother ...\"},{\"title\":\"Patrick Collison on the importance of waiting a really long ...\",\"link\":\"https://www.linkedin.com/posts/the-startup-archive_patrick-collison-on-the-importance-of-waiting-activity-7286001819145707520-1mdI\",\"position\":4,\"snippet\":\"Patrick argues you should also view every person you hire as bringing along another 50 people just like them if your company is successful.\"},{\"title\":\"Tim Ferriss' Post - Patrick Collison — CEO of Stripe (#353)\",\"link\":\"https://www.linkedin.com/posts/timferriss_patrick-collison-ceo-of-stripe-353-activity-7271892372358148096--dsK\",\"position\":5,\"snippet\":\"Author of 5 #1 NYT/WSJ bestsellers, early-stage investor, host of The Tim Ferriss Show podcast (1B+ downloads), and collector of the strange.\"},{\"title\":\"Patrick Collison wanted a guide to Stripe's culture that ...\",\"link\":\"https://www.linkedin.com/posts/first-round-capital_patrick-collison-wanted-a-guide-to-stripes-activity-7304833456948097024-Tt6h\",\"position\":6,\"snippet\":\"Patrick Collison wanted a guide to Stripe's culture that convinced 50% of candidates not to join. And Eeke de Milliano was tasked with ...\"},{\"title\":\"The Collison brothers (John & Patrick) explain why Stripe is ...\",\"link\":\"https://www.linkedin.com/posts/marcelvanoost_the-collison-brothers-john-patrick-explain-activity-7301586346349850624-L-4U\",\"position\":7,\"snippet\":\"The Collison brothers (John & Patrick) explain why Stripe is better off staying Private: \\\" This is our life's work. We're not going anywhere ...\"},{\"title\":\"Stripe CEO Patrick Collison on Crafting a Culture ...\",\"link\":\"https://www.linkedin.com/posts/jennifer-chatman-8086a918_stripe-ceo-patrick-collison-on-crafting-a-activity-7231753022849085440-0RE5\",\"position\":8,\"snippet\":\"When Patrick Collison and his brother John Collison founded digital payment company Stripe in 2010, he didn't come in with “any kind of ...\"},{\"title\":\"Patrick Collison on the importance of beauty and ...\",\"link\":\"https://www.linkedin.com/posts/the-startup-archive_patrick-collison-on-the-importance-of-beauty-activity-7247935993817751552-Qt6h\",\"position\":9,\"snippet\":\"Patrick Collison on the importance of beauty and craftsmanship when building products “If Stripe is a monstrously successful business, ...\"}]}",
        "llm_extract": null,
        "screenshot_hosted_url": null,
        "html_hosted_url": null,
        "markdown_hosted_url": null,
        "json_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/json_f2xghz17kt.json",
        "text_hosted_url": null,
        "links_on_page": [],
        "page_metadata": {
            "status_code": 200,
            "title": ""
        }
    }
}

La respuesta contiene:

Información básica de la solicitud: id, object, marca de tiempo created, url_to_scrape
Objeto de resultado con URLs para acceder a diferentes formatos de los datos
json_content con resultados de búsqueda estructurados que incluyen:
searchParameters: Información sobre la consulta de búsqueda
knowledgeGraph: Información detallada sobre el sujeto de búsqueda (cuando está disponible)
organic: Lista de resultados de búsqueda con título, enlace, posición y fragmento
peopleAlsoAsk: Preguntas relacionadas que los usuarios suelen buscar
relatedSearches: Consultas de búsqueda relacionadas sugeridas

json_content es la parte principal de la respuesta con los resultados de búsqueda estructurados. Puedes acceder al contenido JSON directamente desde la respuesta o usar la URL alojada proporcionada en la respuesta.

Respuesta Estructurada: json_content

{
  "searchParameters": {
    "type": "search",
    "engine": "google",
    "q": "site:linkedin.com Patrick Collison"
  },
  "knowledgeGraph": {
    "description": "Experience. Stripe Graphic · Stripe. -. Education. Massachusetts Institute of Technology Graphic · Massachusetts Institute of Technology. 2006 - 2010 ..."
  },
  "organic": [
    {
      "title": "Patrick Collison - Stripe",
      "link": "https://www.linkedin.com/in/patrickcollison",
      "position": 1,
      "snippet": "Experience. Stripe Graphic · Stripe. -. Education. Massachusetts Institute of Technology Graphic · Massachusetts Institute of Technology. 2006 - 2010 ...",
      "meta": "10.8K+ followers"
    },
    {
      "title": "The Stripe Story: How Patrick Collison Revolutionized ...",
      "link": "https://www.linkedin.com/pulse/stripe-story-how-patrick-collison-revolutionized-online-anshuman-jha-jzzic",
      "position": 2,
      "snippet": "The Early Years: A Genius in the Making. Patrick Collison wasn't just bright—he was a supernova. By age 10, he'd devoured university-level math ..."
    },
    {
      "title": "In 2005, Patrick Collison was a 16-year-old winning ...",
      "link": "https://www.linkedin.com/posts/itselanagold_in-2005-patrick-collison-was-a-16-year-old-activity-7308533537576497154-w5vC",
      "position": 3,
      "snippet": "In 2005, Patrick Collison was a 16-year-old winning Ireland's Young Scientist of the Year competition. By 2008, he and his younger brother ..."
    },
    {
      "title": "The Collison brothers (John & Patrick) explain why Stripe is ...",
      "link": "https://www.linkedin.com/posts/marcelvanoost_the-collison-brothers-john-patrick-explain-activity-7301586346349850624-L-4U",
      "position": 4,
      "snippet": "The Collison brothers (John & Patrick) explain why Stripe is better off staying Private: \" This is our life's work. We're not going anywhere ..."
    },
    {
      "title": "Patrick Collison on the importance of waiting a really long ...",
      "link": "https://www.linkedin.com/posts/the-startup-archive_patrick-collison-on-the-importance-of-waiting-activity-7286001819145707520-1mdI",
      "position": 5,
      "snippet": "Patrick argues you should also view every person you hire as bringing along another 50 people just like them if your company is successful."
    },
    {
      "title": "Tim Ferriss' Post - Patrick Collison — CEO of Stripe (#353)",
      "link": "https://www.linkedin.com/posts/timferriss_patrick-collison-ceo-of-stripe-353-activity-7271892372358148096--dsK",
      "position": 6,
      "snippet": "Author of 5 #1 NYT/WSJ bestsellers, early-stage investor, host of The Tim Ferriss Show podcast (1B+ downloads), and collector of the strange."
    },
    {
      "title": "Patrick Collison on the importance of beauty and ...",
      "link": "https://www.linkedin.com/posts/the-startup-archive_patrick-collison-on-the-importance-of-beauty-activity-7247935993817751552-Qt6h",
      "position": 7,
      "snippet": "Patrick Collison on the importance of beauty and craftsmanship when building products "If Stripe is a monstrously successful business, ..."
    },
    {
      "title": "Stripe founder Patrick Collison tells the story of almost ...",
      "link": "https://www.linkedin.com/posts/the-startup-archive_stripe-founder-patrick-collison-tells-the-activity-7235977194211000321-V-Cd",
      "position": 8,
      "snippet": "Stripe founder Patrick Collison tells the story of almost naming the company PayDemon Patrick and John Collison founded Stripe in 2010 when ..."
    },
    {
      "title": "Patrick Collison created $50 billion of value as a co- ...",
      "link": "https://www.linkedin.com/posts/tom-alder_patrick-collison-created-50-billion-of-value-activity-7239241304780513281-isxK",
      "position": 9,
      "snippet": "Patrick Collison created $50 billion of value as a co-founder of Stripe. He has also built the largest carbon removal program in the world."
    }
  ]
}

Olostep también proporciona un archivo JSON alojado con los resultados de búsqueda estructurados. Puedes acceder al archivo JSON usando el campo json_hosted_url en la respuesta:

JSON Estructurado: Ver ejemplo de JSON

Si deseas obtener también el contenido HTML y Markdown de los resultados de búsqueda, puedes incluir estos formatos en el parámetro formats y Olostep los devolverá en la respuesta y proporcionará URLs alojadas para cada formato.

Escenarios de Uso Ejemplares

1. Encontrar Perfiles de LinkedIn

En el ejemplo anterior, estamos buscando el perfil de LinkedIn de Patrick Collison utilizando la consulta de búsqueda site:linkedin.com Patrick Collison. Esta técnica se puede usar para encontrar perfiles profesionales de cualquier persona.

2. Investigar Empresas

Puedes modificar la consulta para buscar información de empresas:

// Buscar información de la empresa
scrapeGoogleSearch(apiKey, "Stripe company information revenue");

3. Rastrear Artículos de Noticias

Encuentra noticias recientes sobre un tema específico:

// Buscar noticias recientes sobre IA
scrapeGoogleSearch(apiKey, "artificial intelligence news after:2023-01-01");

4. Análisis Competitivo

Monitorea la presencia en línea de los competidores:

// Buscar menciones de competidores
scrapeGoogleSearch(apiKey, "\"Company X\" vs \"Company Y\" comparison");

Notas Importantes

Parámetros de Búsqueda: Los parámetros gl=us y hl=en establecen la geolocalización en EE.UU. y el idioma en inglés. Ajusta estos según sea necesario.

Conclusión

Una vez que tengas los datos de los resultados de búsqueda, puedes:

Analizar puntos de datos específicos de interés
Almacenar los resultados en una base de datos
Construir una interfaz de búsqueda personalizada
Desencadenar acciones basadas en los hallazgos de búsqueda
Integrar con otras APIs o servicios

Si necesitas extraer diferentes puntos de datos o personalizar el comportamiento de búsqueda, por favor ponte en contacto en ‘info@olostep.com`

Ejemplos

Obtener Resultados de Búsqueda de Google (JS)

Raspador de Búsqueda de Google con Olostep

Cómo Funciona

Formato de Respuesta

Respuesta Estructurada: json_content

Escenarios de Uso Ejemplares

1. Encontrar Perfiles de LinkedIn

2. Investigar Empresas

3. Rastrear Artículos de Noticias

4. Análisis Competitivo

Notas Importantes

Conclusión

​Raspador de Búsqueda de Google con Olostep

​Cómo Funciona

​Formato de Respuesta

​Respuesta Estructurada: json_content

​Escenarios de Uso Ejemplares

​1. Encontrar Perfiles de LinkedIn

​2. Investigar Empresas

​3. Rastrear Artículos de Noticias

​4. Análisis Competitivo

​Notas Importantes

​Conclusión

Raspador de Búsqueda de Google con Olostep

Cómo Funciona

Formato de Respuesta

Respuesta Estructurada: json_content

Escenarios de Uso Ejemplares

1. Encontrar Perfiles de LinkedIn

2. Investigar Empresas

3. Rastrear Artículos de Noticias

4. Análisis Competitivo

Notas Importantes

Conclusión