Olostepへようこそ

OlostepはWebの第二のユーザーのためのインフラストラクチャであり、AIエージェントにウェブを検索し、リアルタイムで構造化データを抽出し、カスタムリサーチエージェントを構築する方法を提供します。

はじめに

Olostep APIは、世界の主要なスタートアップやスケールアップで使用されている、AIのための最高のウェブ検索、スクレイピング、クロールAPIです。
Olostepエージェントは、自然言語のプロンプトだけでリサーチワークフローをノーコードで自動化することができます。

AIエージェント向け: 探索を始める前に、このドキュメントの完全なインデックスを取得するには、docs.olostep.com/llms.txtを取得するか、ここから始めてください。

ターミナルとAIエージェントからOlostepを使用する

APIに加えて、OlostepはCLI、MCPサーバー、ドロップインスキルを提供し、Claude Code、Cursor、Windsurfなどのあらゆるツールがネイティブにウェブを使用できるようにします。

CLI →

curl -fsSL https://cli.olostep.com | sh — ターミナルからウェブをスクレイピング、検索、マッピング、クロールし、アカウントを管理します。スクリプトやエージェントには--jsonを使用します。

MCPサーバー →

あらゆるMCPクライアント（Claude、Cursor、VS Code）にライブウェブツールを提供します。ホストされたエンドポイント — インストール不要。

スキル →

AIコーディングエージェントにOlostepの使用方法を教えるドロップインスキル。olostep skill getでエージェントに書き込みます。

Olostepでできること

スクレイプ

任意のURLをクリーンなMarkdown、HTML、スクリーンショット、または構造化されたJSONとして取得します。

クロール

フィルターと検索を使用して、サイト上のすべてのページを再帰的に収集します。

回答

ライブウェブソースからのAI合成された回答を引用付きで取得します。

なぜOlostepなのか？

AI向けに構築: クリーンなMarkdown、構造化されたJSON、引用 — エージェントやアプリが直接消費する出力。
スケールでの信頼性: 業界をリードする成功率; JavaScript、アンチボット、プロキシを内部で処理。
高速: 単一のスクレイプは1秒未満; 5〜7分で最大100,000のURLを一括処理。
コスト効率: 生産スケールでの代替案よりも大幅に安価。
CLI + MCP + スキル: ターミナル、スクリプト、またはMCP対応エージェントからOlostepを使用 — エージェントスキルが含まれています。

スクレイプ

任意のURLをクリーンなMarkdownとして取得します。すべてのオプションについてはスクレイプ機能のドキュメントを参照してください。

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")
result = client.scrapes.create(
    url_to_scrape="https://en.wikipedia.org/wiki/Alexander_the_Great",
    formats=["markdown"],
)
print(result.markdown_content)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
const result = await client.scrapes.create({
  url: 'https://en.wikipedia.org/wiki/Alexander_the_Great',
  formats: ['markdown'],
})
console.log(result.markdown_content)

curl -s -X POST "https://api.olostep.com/v1/scrapes" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url_to_scrape": "https://en.wikipedia.org/wiki/Alexander_the_Great",
    "formats": ["markdown"]
  }'

olostep scrape "https://en.wikipedia.org/wiki/Alexander_the_Great"

レスポンス

{
  "id": "scrape_6h89o8u1kt",
  "object": "scrape",
  "result": {
    "markdown_content": "## Alexander the Great...",
    "markdown_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/markDown_6h89o8u1kt.txt",
    "page_metadata": { "status_code": 200, "title": "Alexander the Great - Wikipedia" }
  }
}

クロール

サイト上のすべてのページを再帰的に収集し、インクルード/エクスクルードフィルターとクロールを集中させるためのオプションのsearch_queryを使用します。クロール機能のドキュメントを参照してください。

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")
crawl = client.crawls.create(
    start_url="https://docs.olostep.com",
    max_pages=50,
)
for page in crawl.pages():
    print(page.url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
const crawl = await client.crawls.create({
  url: 'https://docs.olostep.com',
  maxPages: 50,
})
for await (const page of crawl.pages()) {
  console.log(page.url)
}

curl -s -X POST "https://api.olostep.com/v1/crawls" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "start_url": "https://docs.olostep.com",
    "max_pages": 50
  }'

olostep crawl "https://docs.olostep.com" --max-pages 50

レスポンス

{
  "id": "crawl_abc123",
  "object": "crawl",
  "status": "completed",
  "pages_count": 47,
  "pages": [
    { "url": "https://docs.olostep.com/get-started/welcome", "retrieve_id": "..." },
    { "url": "https://docs.olostep.com/features/scrapes", "retrieve_id": "..." }
  ]
}

回答

質問をして、ライブウェブソースからAI合成された回答を引用付きで取得します。出力を形成するためにJSONスキーマを渡します。回答のドキュメントを参照してください。

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")
answer = client.answers.create(task="What does Olostep do?")
print(answer.result)
print(answer.sources)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
const answer = await client.answers.create({ task: 'What does Olostep do?' })
console.log(answer.result)
console.log(answer.sources)

curl -s -X POST "https://api.olostep.com/v1/answers" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"task": "What does Olostep do?"}'

olostep answer "What does Olostep do?"

レスポンス

{
  "id": "answer_abc123",
  "object": "answer",
  "task": "What does Olostep do?",
  "result": {
    "json_content": "{\"result\":\"Olostep is an API that lets AI agents search, scrape, and structure web data.\"}",
    "sources": [
      "https://docs.olostep.com/get-started/welcome",
      "https://www.olostep.com/"
    ]
  }
}

その他の機能

バッチ

最大100,000のURLを並行してスクレイプ; 5〜7分で結果を返します。

マップ

インクルード/エクスクルードパターンでサイト上のすべてのURLを発見します。

検索

構造化されたリンクとオプションのインラインスクレイピングを伴うライブウェブ検索。

パーサー

ページをスケールで型付きJSONに変換する自己修復型エクストラクター。

スケジュール

定期的なスケジュールでスクレイプ、クロール、回答を実行します。

ファイル

バッチ用またはナレッジベースに接続するためのファイルをアップロードします。

リソース

機能を探る

スクレイピングとAI検索のニーズに対応するすべてのサポート機能をチェックしてください。

APIリファレンス

APIを使用し始め、さまざまなパラメータをテストしてください。

統合

n8n、make、relay、zapierなどでOlostepを使用します。

例

すぐに始められる準備済みの例を参照してください。

開始する

機能

残高と請求書

はじめに

ターミナルとAIエージェントからOlostepを使用する

CLI →

MCPサーバー →

スキル →

Olostepでできること

スクレイプ

クロール

回答

なぜOlostepなのか？

スクレイプ

クロール

回答

その他の機能

バッチ

マップ

検索

パーサー

スケジュール

ファイル

リソース

機能を探る

APIリファレンス

統合

例

​はじめに

​ターミナルとAIエージェントからOlostepを使用する

CLI →

MCPサーバー →

スキル →

​Olostepでできること

スクレイプ

クロール

回答

​なぜOlostepなのか？

​スクレイプ

​クロール

​回答

​その他の機能

バッチ

マップ

検索

パーサー

スケジュール

ファイル

​リソース

機能を探る

APIリファレンス

統合

例

はじめに

ターミナルとAIエージェントからOlostepを使用する

Olostepでできること

なぜOlostepなのか？

スクレイプ

クロール

回答

その他の機能

リソース