Olostep + Apify 統合 - Olostep Docs

Olostepはウェブ検索、スクレイピング、クロールのAPIで、ウェブデータを検索、抽出、構造化するためのAPIです。このガイドでは、OlostepをApify Actorsと組み合わせて、信頼性のあるウェブデータパイプラインをエンドツーエンドで構築する方法を紹介します。

作成できるもの

ウェブサイトをスクレイピング

単一のURLからMarkdown、HTML、JSON、またはテキストでコンテンツを抽出

URLをバッチスクレイピング

構造化された出力で大規模なURLリストを並行処理

クロールを作成

リンクされたページを発見してスクレイピングし、完全なデータセットを構築

マップを作成

ウェブサイトからすべてのURLを抽出（サイトマップのような発見）

AIによる回答

質問をして、ソース付きの構造化されたJSON回答を取得

クイックスタート

1) Apify CLIをインストール

npm install -g apify-cli
apify --version

2) Olostep APIキーを取得

Olostepダッシュボード → APIキー。

3) Olostep Actorをローカルで実行

cd olostep-tools/integrations/apify
apify run

デフォルトのローカル入力ファイルは以下にあります: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json 入力例:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLostep_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Apifyにデプロイ（クラウド）

apify login
apify push

その後、Apifyコンソール → Actors → 希望の入力でアクターを実行。

Apifyコンソールで実行（ステップバイステップ）

Apifyコンソールでアクターを開く → ソース → 入力。
マニュアルタブで「Olostep API Key」フィールドが表示されます。Olostepダッシュボードからキーを貼り付けます。
操作を選択（デフォルトは「scrape」）。
関連フィールドを埋める（「scrape」の場合、「URL to Scrape」を設定）。
保存 → 開始をクリック。
実行が終了したら、データセットタブを開いて結果をダウンロード（JSON/CSV/Excel）。

注意:

「URL to Scrape」にはスキームの有無にかかわらず貼り付けることができます。スキームがない場合、アクターは自動的にhttps://を追加します。
サイトがJavaScriptを多用しておりタイムアウトが発生する場合、「Wait Before Scraping」を2000–5000 msに設定して再実行してください。

利用可能な操作

ウェブサイトをスクレイピング

単一のURLからコンテンツを抽出します。ページレベルの自動化に最適です。

constant

デフォルト:"scrape"

“scrape”である必要があります

string

必須

あなたのOlostep APIキー（Bearer）

string

必須

スクレイピングするURL（http://またはhttps://を含む必要があります）

dropdown

デフォルト:"markdown"

Markdown、HTML、JSON、Textのいずれか

string

オプションの国コード（例：“US”, “GB”, “CA”）

integer

JavaScriptレンダリングのためのオプションの待機時間（0–10000 ms）

string

オプションのパーサーID（例：“@olostep/amazon-product”）

出力フィールド:

id, url, status, formats
markdown_content / html_content / json_content / text_content
ホストされたURL（利用可能な場合）、ページメタデータ

URLをバッチスクレイピング

多くのURLを一度に処理し、一貫したフォーマットと構造を持たせます。

constant

デフォルト:"batch"

“batch”である必要があります

string

必須

あなたのOlostep APIキー

text

必須

urlとオプションのcustom_idを持つオブジェクトのJSON配列
例: [{"url":"https://example.com","custom_id":"site1"}]

dropdown

デフォルト:"markdown"

Markdown、HTML、JSON、Textのいずれか

string

オプションの国コード

integer

JSサイトのためのオプションの待機時間

string

オプションのパーサーID

出力フィールド:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

クロールを作成

リンクをたどり、開始URLから複数のページをスクレイピングします。

constant

デフォルト:"crawl"

“crawl”である必要があります

string

必須

あなたのOlostep APIキー

string

必須

クロールの開始URL

integer

デフォルト:"10"

クロールする最大ページ数。開始URLのみをスクレイピングするには1に設定。

dropdown

デフォルト:"markdown"

Markdown、HTML、JSON、Textのいずれか

string

オプションの国コード

string

オプションのパーサーID

出力フィールド:

crawl_id, object, status, start_url, max_pages, created, formats

マップを作成

ウェブサイト上のすべてのURLを発見し、後でバッチスクレイピングの準備をします。

constant

デフォルト:"map"

“map”である必要があります

string

必須

あなたのOlostep APIキー

string

必須

マップするウェブサイト

string

オプションのクエリフィルター

integer

URLの数を制限

string

含めるグロブ（例: “/products/**”）

string

除外するグロブ（例: “/admin/**”）

出力フィールド:

map_id, object, website_url, total_urls, urls[], search_query, top_n

JSON例をコピー＆ペースト（コンソール → 入力 → JSON）

スクレイピング

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

バッチ

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

クロール

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "formats": "markdown"
}

マップ

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

回答

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "Olostepの最新の資金調達ラウンドは何ですか？会社、ラウンド、日付、金額を提供してください。",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

ワークフロー例

製品を発見してスクレイピング

マップを作成 → “/products/**“を含める
URLを解析 → バッチ配列を構築
URLをバッチスクレイピング → フォーマット: JSON
Google Sheets / Airtableに送信

日次コンテンツモニタリング

アクターをスケジュール（毎日）
ウェブサイトをスクレイピング → フォーマット: Markdown
LLMで要約
Slackで通知

競合知識ベース

クロールを作成（ブログ/ドキュメント）
出力をNotionに保存
スケジュールで毎週更新

専門のパーサー

Olostepは人気のあるサイトのデータを構造化するためのパーサーをサポートしています。

Amazon製品

@olostep/amazon-product → タイトル、価格、評価、レビュー、画像、バリエーション

Google検索

@olostep/google-search → 結果、タイトル、スニペット、URL

Googleマップ

@olostep/google-maps → ビジネス情報、レビュー、評価、場所

その他のパーサー

メール抽出器、ソーシャルハンドルファインダー、カレンダーリンク抽出器などを探る

ベストプラクティス

3つ以上のURLにはバッチを優先

より速く、安価で、監視が容易で、レート制限を尊重できます。

適切な待機時間を使用

JSを多用するサイト: wait_before_scrapingを増やす（例: 2000–5000ms）。

スクレイピング前にフィルター

不要なタスクを避ける — まず変更を確認し、重複排除の状態を維持。

大きなコンテンツはホストされたURLで保存

Apifyフローでのペイロードサイズ制限を回避するためにホストされた出力を使用。

非同期操作を長時間実行として扱う

バッチ/クロール/マップはIDを返します; 後で取得するか、遅延でチェーンします。

一時的なタイムアウトをクリーンに処理

504または一時的なタイムアウトが発生した場合、アクターは短い待機時間で自動的に再試行します。
JSを多用するページには「Wait Before Scraping」を2000–5000 msに設定することもできます。

トラブルシューティング

認証に失敗しました

ダッシュボードからAPIキーを確認
末尾のスペースを削除
Apify入力フォームで再入力

コンテンツが空です

待機時間を増やす
URLが公開されているか/ログインが必要でないか確認
別の出力フォーマットを試す

レート制限を超えました

スケジュールで実行を間隔を空ける
多くのURLにはバッチを優先
必要に応じてOlostepプランをアップグレード

ブロックされたサイトまたは動的サイト

国のパラメータを試す
待機時間とパーサーを調整
ガイダンスを求めてサポートに連絡

料金

OlostepはAPI使用量に基づいて課金します（Apifyとは独立しています）:

スクレイピング → スクレイプごと
バッチ → URLごと
クロール → ページごと
マップ → 操作ごと

詳細はhttps://www.olostep.com/pricingをご覧ください。

セキュリティ

あなたのAPIキーは実行時にBearerトークンとして送信されます。
キーをバージョン管理にコミットしないでください; Apifyは入力をKey‑Value Storeに保存します。
ローカル開発では、キーをstorage/key_value_stores/default/INPUT.jsonに保持してください（gitignoreされています）。

スクレイピングAPI

任意のURLからLLMに優しいMarkdown、HTML、テキストまたは構造化されたJSONを抽出。

バッチAPI

最大100kのURLを同時に処理し、後で結果を取得。

クロールAPI

サイトのコンテンツを再帰的に発見してスクレイピング。

マップAPI

バッチスクレイピングの準備としてウェブサイト上のすべてのURLを取得。

サポート

Apifyウェブサイト

Apifyプラットフォーム

Apifyドキュメント

Apifyプラットフォーム & SDKドキュメント

ドキュメント

完全なAPIドキュメント

サポートメール

info@olostep.com

​作成できるもの

ウェブサイトをスクレイピング

URLをバッチスクレイピング

クロールを作成

マップを作成

AIによる回答

​クイックスタート

​1) Apify CLIをインストール

​2) Olostep APIキーを取得

​3) Olostep Actorをローカルで実行

​4) Apifyにデプロイ（クラウド）

​Apifyコンソールで実行（ステップバイステップ）

​利用可能な操作

​ウェブサイトをスクレイピング

​URLをバッチスクレイピング

​クロールを作成

​マップを作成

​JSON例をコピー＆ペースト（コンソール → 入力 → JSON）

​スクレイピング

​バッチ

​クロール

​マップ

​回答

​ワークフロー例

​専門のパーサー

Amazon製品

Google検索

Googleマップ

その他のパーサー

​ベストプラクティス

​トラブルシューティング

​料金

​セキュリティ

​関連リソース

スクレイピングAPI

バッチAPI

クロールAPI

マップAPI

​サポート

Apifyウェブサイト

Apifyドキュメント

ドキュメント

サポートメール

作成できるもの

クイックスタート

1) Apify CLIをインストール

2) Olostep APIキーを取得

3) Olostep Actorをローカルで実行

4) Apifyにデプロイ（クラウド）

Apifyコンソールで実行（ステップバイステップ）

利用可能な操作

ウェブサイトをスクレイピング

URLをバッチスクレイピング

クロールを作成

マップを作成

JSON例をコピー＆ペースト（コンソール → 入力 → JSON）

スクレイピング

バッチ

クロール

マップ

回答

ワークフロー例

専門のパーサー

ベストプラクティス

トラブルシューティング

料金

セキュリティ

関連リソース

サポート