マップ

Olostepの/v1/mapsエンドポイントを使用して、ウェブサイト上のすべてのURLを取得できます。これは、コンテンツの発見、サイト構造の分析（例：SEO）、または次にスクレイプしたいURLを決定するのに役立ちます。

ウェブサイト上のすべてのURLを取得（サイトマップや発見されたリンクを含む）
特殊なパターンを使用してパスを含めたり除外したりする（例：/blog/**）
cursorを使用して大きなレスポンスをページング（1レスポンスあたり最大10MB）
top_nでボリュームを制限

APIの詳細については、マップエンドポイントAPIリファレンスを参照してください。

インストール

pip install olostep

npm install olostep

# curlはmacOS、Linux、Windowsでデフォルトで利用可能です

npm install node-fetch

pip install requests

使用方法

ウェブサイトのurlを指定してPOSTリクエストを送信します。オプションでinclude_urls、exclude_urls（グロブパターン）、およびtop_nを渡すことができます。

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

レスポンスタイムは通常数秒以内ですが、より複雑なウェブサイトの場合は最大120秒かかることがあります。ウェブサイトからすべてのURLを抽出でき、バックリンクやサイトマップに存在しないURLも含まれます。また、レスポンスから含めたいまたは除外したいURLパスを決定することもできます。デフォルトでは、エンドポイントは1回の呼び出しで約100kのURLを返します（最大10MB）。レスポンスにより多くのデータが含まれる場合、APIはページングと後続のURL取得に使用できるcursorパラメータを返します。詳細については、APIリファレンスを参照してください。このエンドポイントは特に以下のような場合に便利です：

ウェブサイト上のすべてのコンテンツページを発見する
サイト構造と階層を分析する
バッチ処理のためにURLを準備する
スクレイプする特定のURLを決定する

返されるURLをより細かく制御するために、include_urlsとexclude_urlsのパラメータを使用できます。

例

例えば、www.brex.comから/product/以降のパスを持つすべてのURLを抽出したい場合、例えばhttps://www.brex.com/product/api/no-codeですが、www.brex.com/productも含めたいとします。以下のコードを使用できます：

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

結論

マップエンドポイントは、コンテンツの発見やサイト分析のための強力なツールです。ウェブサイト上のURLの包括的なリストを提供し、特定のページからコンテンツを抽出したり、サイト構造を分析したりすることができます。このエンドポイントは、ウェブサイトのコンテンツや構造を分析する必要があるSEOプロフェッショナル、コンテンツマーケター、AIエージェントに特に役立ちます。

ストレージ

マップのために保存されたファイルはデフォルトで7日間保持されます。POST /v1/mapsでstorageオブジェクトを渡すことで、より長くまたは無期限に保持できます。この設定は、マップの結果とURLを発見する際にスクレイプされたページをカバーします。

パラメータ	タイプ	デフォルト	説明
`storage.expires_in`	`string`	`7d`	保存されたファイルを保持する期間。`7d`、`10d`、`30d`、`60d`、`90d`、`180d`、`365d`、または`never`（無期限）のいずれか。

storageを省略するか、expires_inなしでstorageを送信すると、7dが使用されます。作成レスポンスとGET /v1/maps/{map_id}の両方に有効な値が含まれます：

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

無効な値は400を返します：

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

価格

マップは1クレジットのコストがかかります。その後、レスポンスで返される追加の1000 URLごとに、追加のクレジットが請求されます。

開始する

機能

残高と請求書

インストール

使用方法

例

結論

ストレージ

価格

​インストール

​使用方法

​例

​結論

​ストレージ

​価格

インストール

使用方法

例

結論

ストレージ

価格