Mapas

A través del endpoint /v1/maps de Olostep puedes obtener todas las URLs de un sitio web. Esto es útil para el descubrimiento de contenido, análisis de la estructura del sitio (por ejemplo, SEO) o para decidir qué URLs deseas extraer a continuación.

Obtén todas las URLs de un sitio web (incluyendo sitemaps y enlaces descubiertos)
Usa patrones especiales para incluir/excluir rutas (por ejemplo, /blog/**)
Pagina respuestas grandes con cursor (hasta 10MB por respuesta)
Limita el volumen con top_n

Para detalles del API, consulta la Referencia del API del Endpoint de Mapas.

Instalación

pip install olostep

npm install olostep

# curl está disponible por defecto en macOS, Linux y Windows

npm install node-fetch

pip install requests

Uso

Envía una solicitud POST con la url del sitio web. Opcionalmente pasa include_urls, exclude_urls (patrones glob), y top_n.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

El tiempo de respuesta es generalmente de segundos, pero puede tardar hasta 120 segundos para sitios web más complejos. Puede extraer todas las URLs de un sitio web, incluso los backlinks y aquellos no presentes en los Sitemaps. También puedes decidir las rutas de URLs que deseas incluir o excluir de la respuesta. Por defecto, el endpoint devuelve alrededor de 100k URLs en una sola llamada (máximo 10MB). Si la respuesta incluye más datos, el API devuelve un parámetro cursor que puede ser usado para la paginación y obtener las URLs subsecuentes. Para más detalles, consulta la Referencia del API. Este endpoint es particularmente útil cuando necesitas:

Descubrir todas las páginas de contenido en un sitio web
Analizar la estructura y jerarquía del sitio
Preparar URLs para procesamiento por lotes
Decidir qué URLs específicas extraer

Para un control más detallado sobre las URLs devueltas, puedes usar los parámetros include_urls y exclude_urls.

Ejemplo

Supongamos que desde www.brex.com deseas extraer todas las URLs que tienen las rutas después de /product/, por ejemplo, https://www.brex.com/product/api/no-code, pero también incluir www.brex.com/product. Puedes usar el siguiente código:

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

Conclusión

El endpoint de mapas es una herramienta poderosa para el descubrimiento de contenido y análisis del sitio. Proporciona una lista completa de URLs en un sitio web, permitiéndote extraer contenido de páginas específicas o analizar la estructura del sitio. Este endpoint es particularmente útil para profesionales de SEO, mercadólogos de contenido, agentes de IA que necesitan analizar el contenido o la estructura del sitio web.

Almacenamiento

Los archivos almacenados para un mapa se mantienen durante 7 días por defecto. Pasa un objeto storage en POST /v1/maps para mantenerlos más tiempo, o indefinidamente. La configuración cubre el resultado del mapa y las páginas extraídas mientras se descubren URLs.

Parámetro	Tipo	Predeterminado	Descripción
`storage.expires_in`	`string`	`7d`	Cuánto tiempo mantener los archivos almacenados. Uno de `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d`, o `never` (indefinido).

Omitir storage, o enviar storage sin expires_in, utiliza 7d. Tanto la respuesta de creación como GET /v1/maps/{map_id} incluyen el valor en efecto:

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

Un valor inválido devuelve 400:

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Precios

El mapa cuesta 1 crédito. Luego, por cada 1000 URLs adicionales devueltas en la respuesta, se factura un crédito adicional.

Comenzar

Características

Saldo y Facturación

Instalación

Uso

Ejemplo

Conclusión

Almacenamiento

Precios

​Instalación

​Uso

​Ejemplo

​Conclusión

​Almacenamiento

​Precios

Instalación

Uso

Ejemplo

Conclusión

Almacenamiento

Precios