Documentation Index
Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
Use this file to discover all available pages before exploring further.
Olostepの/v1/mapsエンドポイントを使用すると、ウェブサイト上のすべてのURLを取得できます。これは、コンテンツの発見、サイト構造の分析（例：SEO）、次にスクレイプしたいURLを決定するのに役立ちます。
- ウェブサイト上のすべてのURLを取得（サイトマップや発見されたリンクを含む）
- 特殊なパターンを使用してパスを含める/除外する（例：
/blog/**）
cursorを使用して大きなレスポンスをページネーション（1レスポンスあたり最大10MB）top_nでボリュームを制限
APIの詳細については、マップエンドポイントAPIリファレンスを参照してください。
インストール
使用方法
ウェブサイトのurlを指定してPOSTリクエストを送信します。オプションでinclude_urls、exclude_urls（グロブパターン）、およびtop_nを渡すことができます。
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
sitemap = client.maps.create(url="https://docs.olostep.com")
for url in sitemap.urls():
print(url)
cursorパラメータを返します。詳細については、APIリファレンスを参照してください。
このエンドポイントは特に次のような場合に役立ちます：
- ウェブサイト上のすべてのコンテンツページを発見する
- サイト構造と階層を分析する
- バッチ処理のためにURLを準備する
- スクレイプする特定のURLを決定する
返されるURLをより細かく制御するには、include_urlsおよびexclude_urlsパラメータを使用できます。
例えば、www.brex.comから/product/以降のパスを持つすべてのURLを抽出したい場合、例：https://www.brex.com/product/api/no-code、さらにwww.brex.com/productも含めたい場合、次のコードを使用できます：
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
sitemap = client.maps.create(
url="https://www.brex.com/",
include_urls=["/product", "/product/**"],
top_n=100000,
)
for url in sitemap.urls():
print(url)
