StripeのウェブサイトからブログURLを抽出する

import requests
import time
import json

# 設定
API_URL = 'https://api.olostep.com/v1'
API_KEY = '<your_olostep_api_key>'
HEADERS = {
    'Content-Type': 'application/json',
    'Authorization': f'Bearer {API_KEY}'
}

# レイテンシー追跡のための開始時間
start_time = time.time()

# 含めるURLパターンを指定したペイロードを定義
payload = {
    "url": "https://stripe.com",
    "include_urls": ["/blog", "/blog/**"]  # /blogおよび/blog以下のすべてのパスにマッチ
}

# リクエストを送信
response = requests.post(f'{API_URL}/maps', headers=HEADERS, json=payload)

# レイテンシーを計算
latency = round((time.time() - start_time) * 1000, 2)
print(f"リクエスト完了までに{latency}msかかりました")

# 結果を処理
data = response.json()
print(f"Stripeのウェブサイトで{data['urls_count']}件のブログURLが見つかりました")

# サンプルとして最初の10件のURLを表示
print("\nサンプルブログURL:")
for url in data['urls'][:10]:
    print(f"- {url}")
    
# さらなる処理のためにブログURLをファイルに保存
with open('stripe_blog_urls.json', 'w') as f:
    json.dump(data, f, indent=2)
print(f"\nすべてのブログURLがstripe_blog_urls.jsonに保存されました")

# より具体的なURLパターンを指定したペイロードを定義
payload = {
    "url": "https://stripe.com",
    "include_urls": ["/blog/engineering", "/blog/engineering/**"]
}