Skip to main content

概要

ウェブサイトの特定のセクションに入る前に、その構造を完全に把握することがしばしば役立ちます。このガイドでは、StripeのウェブサイトからすべてのURLを抽出する方法を紹介します。これにより、以下のことが可能になります:
  • サイト全体のアーキテクチャを理解する
  • 知らなかったコンテンツセクションを発見する
  • どのURLをさらにスクレイプするかをLLMで決定する

StripeのすべてのURLを抽出する

StripeのウェブサイトからすべてのURLを抽出するには、Stripeのドメインを使用してmapsエンドポイントを使用します。これにより、サイト上のすべての発見可能なURLの包括的なリストが返されます。

レスポンスの例

Stripeのウェブサイト構造を分析する

すべてのURLを抽出した後、その構造を分析してパターンを特定できます。これは、Stripeがどのようにコンテンツを整理しているかを理解するのに特に役立ちます。例えば、次のようなURLパターンに気付くかもしれません:
  • /blog/** - ブログ記事
  • /docs/** - ドキュメントページ
  • /payments/** - 支払い製品情報
  • /billing/** - 請求製品情報
場合によっては、ウェブサイトの特定のセクションのURLのみを取得したいことがあります。例えば、すべてのブログ記事などです。このために、次のガイドで組み込みのフィルターを使用できます。