スクレイプ&抽出
任意のURLからMarkdown、HTML、JSON、またはテキストを取得し、オプションでJSレンダリングを使用
AI回答
出典付きのウェブに基づいた回答と構造化された出力
バッチ&クロール
最大10,000のURLを並列処理、または自動的にサイト全体を発見
マップ&検索
サイト上のすべてのURLを見つけるか、パーサーベースのウェブ検索を実行
始める前に
Olostep APIキーが必要です。Olostepダッシュボードから取得できます。無料プランは個人利用をカバーしています。セットアップパスを選ぶ
すべてのクライアントにとって最速のパスは、https://mcp.olostep.com/mcpでのホストされたエンドポイントです。インストール不要、Node不要、Docker不要—URLとAPIキーを貼り付けるだけです。
完全にローカルで実行する必要がある場合(オフライン利用、企業プロキシ、エアギャップ)、すべてのクライアントはnpxを介したローカルstdioインストールもサポートしています。以下の各セクションで両方を示します。
ホストされたエンドポイントは
Authorization: Bearer YOUR_API_KEYを使用します。ローカルstdioは環境変数としてOLOSTEP_API_KEYを使用します。混同しないでください—間違った認証モードはオンボーディングエラーの第1位です。クライアントセットアップ
- Cursor
- Claude Code
- Claude Desktop
- VS Code
- Windsurf
- Docker
- Metorial
適切なツールを選ぶ
MCPサーバーは10のツールを公開しています。この決定ツリーを使って適切なツールを選んでください—エージェントも同じ推論を使用します:| あなたが望むもの… | 使用するツール | メモ |
|---|---|---|
| 特定のページのコンテンツ | scrape_websiteまたはget_webpage_content | SPA用にwait_before_scraping=2000–5000を設定 |
| 出典付きの自然言語ウェブ回答 | answers | AI合成+引用を返します |
| クエリの検索結果 | search_web | パーサーベース、非AI、構造化 |
| サイト上のURLリスト | create_map | URL発見のみ—スクレイプしません |
| クエリでフィルタリングされたURL | get_website_urls | search_queryに関連する順にランク付け |
| 一度に多くの既知のURL | batch_scrape_urls + get_batch_results | 非同期—開始後にポーリング |
| サイト全体またはセクション | create_crawl + get_crawl_results | 非同期—開始URLからリンクをたどります |
ツールの詳細
scrape_website
scrape_website
単一のURLからコンテンツを抽出します。
markdown、html、json、textをサポート。地理ターゲットリクエスト用のオプションのcountry、JS重いサイト用のwait_before_scraping(0–10000 ms)、構造化抽出用のparser(例:@olostep/amazon-product)をサポート。get_webpage_content
get_webpage_content
scrape_websiteの軽量なMarkdown専用バージョン。クリーンなMarkdownだけが欲しい場合に使用し、フォーマットオプションは不要です。search_web
search_web
クエリのための構造化(パーサーベース)のウェブ検索結果。ローカライズされた結果のためのオプションの
country。JSONを返し、AIの文章は返しません。answers
answers
出典と引用付きの
taskに対するAI駆動の回答。特定の形で回答を得るためにjson引数を渡します—JSONスキーマまたは短い自然言語の説明のいずれか。batch_scrape_urls
batch_scrape_urls
既に持っている2–10kのURLの非同期スクレイプ。
batch_idを返し、その後get_batch_resultsを呼び出してコンテンツを取得します。ポーリングの代わりに単一のブロッキングコールを希望する場合は、wait_for_completion_seconds(最大900)を設定します。推奨:50以下のURLのバッチには60、50–1kには300–600、より大きなバッチには0(別途ポーリング)。get_batch_results
get_batch_results
batch_idのステータスとスクレイプされたコンテンツを取得します。完了するまでprocessingを返し、その後completedとアイテム配列を返します。create_crawl
create_crawl
start_urlからリンクをたどる非同期クロール。スコープを設定するためにinclude_url_patterns / exclude_url_patterns(/blog/**のようなグロブ構文)を使用します。crawl_idを返し、その後get_crawl_resultsを呼び出します。get_crawl_results
get_crawl_results
crawl_idのステータスとページを取得します。cursorとitems_limit(1回の呼び出しで最大100)を使用してページネーションをサポートします。完了するまでin_progressを返します。create_map
create_map
サイト上のURLリストを取得します。URL発見のみ—スクレイプしません。候補URLを浮上させたい場合に使用します(例:ユーザーにサブセットを選ばせる)。
include_url_patterns / exclude_url_patternsとsearch_queryをサポート。get_website_urls
get_website_urls
create_mapのように、ただしURLは必須のsearch_queryに対する関連性でランク付けされます。サイト上のトップNの一致するリンクが欲しい場合に使用します。トラブルシューティング
サーバーは表示されるが0ツールと表示される
サーバーは表示されるが0ツールと表示される
APIキーが無効またはレート制限されています。APIキーのダッシュボードを開いてキーを確認してください。ホストされたエンドポイントを使用している場合、ヘッダーは正確に
Authorization: Bearer sk_...でなければなりません—値の周りに引用符はなく、余分なスペースもありません。`npx: command not found`または`command not found: olostep-mcp`
`npx: command not found`または`command not found: olostep-mcp`
Node.jsがインストールされていない(またはPATHにない)です。nodejs.orgからNode 18+をインストールし、その後ターミナルとMCPクライアントを再起動します。Windowsでは、NodeがPATHにあるCMD/PowerShellに切り替えてください。
`mcp.olostep.com`で接続拒否またはDNSエラー
`mcp.olostep.com`で接続拒否またはDNSエラー
企業プロキシまたはホストをブロックするファイアウォールの背後にいる可能性があります。ローカルstdioインストール(
npx -y olostep-mcp)に切り替えてください—通常許可されているapi.olostep.comにアウトバウンドリクエストを行います。設定を編集したがツールリストが古い
設定を編集したがツールリストが古い
クライアントが古い設定をキャッシュしています。完全に終了して再起動してください—ウィンドウを閉じるだけでは不十分です。特にClaude Desktopはメニューバー/システムトレイで実行中のままです。
Windows特有の`npx`の失敗
Windows特有の`npx`の失敗
Windowsでサーバーを起動する際に
npxがエラーを出す場合、CMDラップされた形式を使用してください:`401 Missing Authorization: Bearer <OLOSTEP_API_KEY>`
`401 Missing Authorization: Bearer <OLOSTEP_API_KEY>`
レシピ
ツールと一緒にうまく機能するプロンプトのコピーペースト:- 製品URLのリストをスクレイプ: “200のAmazon製品URLのCSVがあります。
parser=@olostep/amazon-productでバッチスクレイプし、JSONとして返してください。” - ドキュメントサイトをクロール: “https://stripe.com/docsを`max_pages=50`と`include_url_patterns=[‘/docs/**’]`でクロールしてください。各セクションをMarkdownとして要約してください。”
- 競合他社を見つける: “技術ドキュメントサイトのためにNotionのトップ5の競合他社を見つけるために
answersを使用してください。名前、ホームページ、1行のポジショニングを返してください。” - マップしてからスクレイプ: “https://example.comで`create_map`を実行し、`/blog/**`にフィルタリングし、トップ20の結果で`batch_scrape_urls`を実行してください。“
