メインコンテンツへスキップ
あなたのOpenClawエージェントはドキュメントを読むことができますが、ウェブを読むことはできません。Olostep Web Agentプラグインがその問題を解決します。エージェントのワークフロー内で直接、任意のウェブサイトから検索、スクレイプ、クロール、構造化データの抽出が可能です。 1回のインストールで、高レベルのタスクを実行するための13のスキル(ライブのStackOverflowスレッドからエラーをデバッグ、現在のドキュメントからインテグレーションコードを書く、構造化比較でツールを調査)と、直接プログラム的にアクセスするための9つのツールを備えたMCPサーバーを提供します。JSが多用されたSPA、CAPTCHA、Cloudflare、住宅プロキシなども自動的に処理されます。

インストール

clawhub install olostep
これで完了です。MCPサーバーを手動で接続したい場合は、次の内容をOpenClawの設定に追加してください:
{
  "mcpServers": {
    "olostep": {
      "command": "npx",
      "args": ["-y", "olostep-mcp"],
      "env": {
        "OLOSTEP_API_KEY": "your-api-key-here"
      }
    }
  }
}
olostep.com/authで無料のAPIキーを取得できます — 月500リクエスト、クレジットカード不要。

スキル

コアデータスキル

これらの6つのスキルは基礎となるものです。それぞれが1つのことをうまく行い、エージェントはこれらを組み合わせて複雑なワークフローを作成できます。

scrape

任意のURLをクリーンなMarkdown、HTML、JSON、またはテキストに変換します。フルブラウザレンダリング、アンチボットバイパス、ジオターゲティング、ブラウザアクション(クリック、スクロール、入力)、一般的なサイトタイプ用の事前構築されたパーサーを備えています。

search

3つのモード:引用付きのAI合成回答、生のGoogle SERPデータ(オーガニック結果、PAA、ナレッジグラフ)、ドメインスコープのURL発見。

crawl

1つのURLから開始し、リンクをたどり、発見されたすべてのページをスクレイプします。最大ページ数を設定し、URLパターンを含める/除外し、クロールの深さを制御します。

batch

フルレンダリングで最大10,000のURLを並行してスクレイプします。各URLにcustom_idをタグ付けして、結果を元のソースにマッピングします。

map

いずれのURLもスクレイプせずに、ウェブサイト上のすべてのURLを発見します。グロブパターンでフィルタリングし、検索クエリの関連性でランク付けし、top_nで制限します。

answers

平易な言葉で質問し、ライブウェブソースに基づいたAI合成回答を得ます。jsonパラメータを渡して、任意のスキーマに一致する構造化出力を取得します。

ワークフロースキル

これらの7つのスキルは、複数のコア操作を連鎖させます。思考を処理し、エージェントは仕事に適したスキルを選ぶだけです。

research

“Node.jsのトップ3 ORMを比較” — エージェントは複数のソースを検索し、価格と機能ページをスクレイプし、引用付きの構造化比較と推奨を返します。

debug-error

スタックトレースまたはエラーメッセージを貼り付けます。エージェントはGitHubの問題とStackOverflowを検索し、その正確なエラーを探し、関連するスレッドをスクレイプし、同じ問題に直面した開発者が実際に行った修正を返します。

docs-to-code

ドキュメントのURLを指定します。エージェントは現在のAPIリファレンスをスクレイプし、実際に公開されているものから動作するインテグレーションコードを書きます — 廃止されたメソッドを参照する可能性のある古いトレーニングデータからではありません。

migrate-code

現在のバージョンとターゲットバージョンを指定します。エージェントは移行ガイドをスクレイプし、すべての破壊的変更を抽出し、コードを一致するように書き換えます。

extract-schema

任意の非構造化ウェブページ — 商品リスト、求人情報、記事 — を、提供されたTypeScriptインターフェース、JSONスキーマ、またはデータベースモデルに一致する型付きJSONに変換します。

integrate

スタック(言語、フレームワーク、AIツールキット)を自動検出し、完全なOlostep SDKインテグレーションを書きます:インストールコマンド、クライアントセットアップ、ツールの接続、検証ステップを含みます。

setup

Olostep APIキーを設定し、接続を確認します。一般的なセットアップ問題のトラブルシューティングを含みます。

MCPツール

バンドルされたMCPサーバー(olostep-mcp)は、エージェントに直接呼び出せる9つのツールを提供します。ワークフロースキルが提供する以上の詳細な制御が必要な場合に使用します。
ツール機能
scrape_website単一のURLをMarkdown、HTML、JSON、またはテキストにスクレイプ
get_webpage_contentウェブページをクリーンでLLM対応のMarkdownとして取得
search_webライブウェブを検索し、AI合成回答を取得
google_search構造化されたGoogle SERPデータ — オーガニック結果、PAA、ナレッジグラフ
answers質問をし、引用付きの回答を取得し、オプションで構造化されたJSON出力を得る
batch_scrape_urlsフルレンダリングで最大10,000のURLを並行してスクレイプ
create_crawl開始URLからリンクをたどり、ウェブサイトをクロール
create_mapウェブサイト上のすべてのURLを発見し、パターンとクエリでフィルタリング可能
get_website_urls特定のドメインから関連するURLを見つけて取得

実際の使用例

「なぜ失敗しているのか?」 — ライブウェブからデバッグ

ECONNRESET when calling Stripe webhook endpointをエージェントに貼り付けます。エージェントはGitHubの問題とStackOverflowを検索し、その正確なエラーを探し、最も関連性の高い3つのスレッドをスクレイプし、具体的な修正を返します — 「ネットワーク設定を確認してください」ではなく、同じ問題に直面した他の開発者が実際に解決したタイムアウト設定です。

「インテグレーションを書いて」 — 古いトレーニングデータではなく、最新のドキュメントからコードを生成

支払いAPIを統合する必要があります。docs-to-codeスキルは、今日公開された最新のAPIリファレンスをスクレイプし、実際に存在するパラメータとエンドポイントを使用して動作するコードを書きます。

「どれを使うべきか?」 — 構造化されたツール比較

ORMを評価していますか?認証プロバイダーを比較していますか?researchスキルは複数のソースを検索し、実際の価格ページと機能マトリックスをスクレイプし、引用付きの構造化比較表を返します。製品のウェブサイトに実際にある情報に基づいた推奨を得ることができます。

任意のドキュメントサイトからRAGパイプラインを構築

map   → ドキュメントサイト上のすべてのURLを発見
batch → すべてのページをクリーンなMarkdownとして並行してスクレイプ
      → ベクトルストアにフィード
2つのスキル、1つのパイプライン。数百または数千のページを持つドキュメントサイトで機能します。

大規模に構造化データを抽出

map   → すべての商品、リスト、または求人URLを発見
batch → 事前構築されたパーサーで各ページをスクレイプ → 型付きJSON
      → データベース、API、またはシードファイルにパイプ

新しいフレームワークバージョンに移行

Next.js 13から15にアップグレードしています。migrate-codeスキルは公式の移行ガイドをスクレイプし、すべての破壊的変更を抽出し、コードパターンを前後にしてファイルを書き換えます — モデルの推測ではなく、実際のドキュメントに基づいています。

事前構築されたパーサー

任意のスクレイプ呼び出しにparserパラメータを渡すと、生のコンテンツではなく型付きJSONが返されます。スキーマ定義は不要 — これらが抽出を処理します。
パーサー返される内容
@olostep/google-searchオーガニック結果、ナレッジグラフ、People Also Ask
@olostep/amazon-it-product価格、評価、機能、在庫状況
@olostep/extract-emailsページ上で見つかったすべてのメールアドレス
@olostep/extract-calendars構造化されたカレンダーイベント
@olostep/extract-socialsソーシャルメディアのプロフィールリンク

リンク

ClawHubにインストール

プラグインリスト、バージョン履歴、ワンコマンドインストール

APIキーを取得

月500回の無料リクエスト、クレジットカード不要

MCPサーバードキュメント

Cursor、Claude Desktop、その他のクライアント向けの完全なMCPサーバーセットアップ

APIリファレンス

例を含む完全なエンドポイントドキュメント