機能
この統合は、自動化されたウェブデータ抽出とAIによる調査のための5つの強力なアクションを提供します：ウェブサイトをスクレイプ
複数の形式（Markdown、HTML、JSON、テキスト）で任意の単一URLからコンテンツを抽出
URLをバッチスクレイプ
最大100,000のURLを並行して処理。大規模なデータ抽出に最適
クロールを作成
リンクをたどってウェブサイト全体を自動的に発見しスクレイプ
マップを作成
サイト構造分析とコンテンツ発見のためにウェブサイトからすべてのURLを抽出
AIに質問
ウェブソースまたは提供されたURLからの引用を含むAIによる回答を取得
インストール
1. ZapierでOlostepを見つける
Zapierのアプリディレクトリまたは新しいZapを作成するときに「Olostep」を検索します：- ZapierのOlostepにアクセス
- 「Zapを作成」をクリック
- アプリセレクターで「Olostep」を検索
- Olostepアプリを選択
2. アカウントを接続
Zapで初めてOlostepを使用する際、アカウントの接続を求められます：- 「Olostepにサインイン」をクリック
- Olostep APIキーを入力
- 「はい、Olostepに進む」をクリック
利用可能なアクション
ウェブサイトをスクレイプ
単一のURLからコンテンツを抽出。複数の形式とJavaScriptレンダリングをサポート。 使用例:- 特定のページの変更を監視
- eコマースサイトから商品情報を抽出
- ニュース記事やブログ投稿からデータを収集
- コンテンツ集約のためにコンテンツを取得
スクレイプするウェブサイトのURL（http://またはhttps://を含める必要があります）
形式を選択：Markdown、HTML、JSON、またはプレーンテキスト
地域特定のコンテンツのための国コード（例：“US”, “GB”, “CA”）
JavaScriptレンダリングのための待機時間（ミリ秒単位、0-10000）
特殊な抽出のためのオプションのパーサーID（例：“@olostep/amazon-product”）
- スクレイプID
- スクレイプされたURL
- Markdownコンテンツ
- HTMLコンテンツ
- JSONコンテンツ
- テキストコンテンツ
- ステータス
- タイムスタンプ
- スクリーンショットURL（利用可能な場合）
- ページメタデータ
競合他社の価格を監視
競合他社の価格を監視
トリガー: スケジュール（毎日午前9時）アクション: Olostep - ウェブサイトをスクレイプ
- URL: 競合他社の商品ページ
- 形式: JSON
- パーサー: @olostep/amazon-product
- 価格データを追跡スプレッドシートに追加
- 価格の変動をチームに通知
ブログ投稿を抽出して保存
ブログ投稿を抽出して保存
トリガー: RSS by Zapier - フィードに新しいアイテムアクション: Olostep - ウェブサイトをスクレイプ
- URL: {{投稿URL}}
- 形式: Markdown
- 記事のコンテンツをNotionデータベースに保存
リードの強化
リードの強化
トリガー: Google Sheets - 新しい行アクション: Olostep - ウェブサイトをスクレイプ
- URL: シートからの会社のウェブサイト
- 形式: Markdown
- AIを使用して会社情報を抽出
- 強化されたデータをシートに戻す
URLをバッチスクレイプ
複数のURLを並行して処理（最大100,000件）。大規模なデータ抽出に最適。 使用例:- 商品カタログ全体をスクレイプ
- 複数の検索結果からデータを抽出
- スプレッドシートからのURLリストを処理
- バルクコンテンツ抽出
urlとcustom_idフィールドを持つオブジェクトのJSON配列。例:
[{"url":"https://example.com","custom_id":"site1"}]すべてのURLの形式を選択：Markdown、HTML、JSON、またはプレーンテキスト
地域特定のスクレイピングのための国コード
JavaScriptレンダリングのための待機時間
特殊な抽出のためのオプションのパーサーID
- バッチID（後で結果を取得するために使用）
- ステータス
- 合計URL数
- 作成日時
- リクエストされた形式
- 国コード
- 使用されたパーサー
商品カタログをスクレイプ
商品カタログをスクレイプ
トリガー: Webhook - POSTリクエストを受信アクション: Code by Zapier - Pythonを実行
- CSV/リストをJSON配列形式に変換
- URL: {{前のステップからのJSON配列}}
- 形式: JSON
- パーサー: @olostep/amazon-product
- バッチIDをシステムに送信して取得
日々のコンテンツ監視
日々のコンテンツ監視
トリガー: スケジュール - 毎日午前6時アクション: Google Sheets - 行を取得
- 監視するURLを取得
- バッチ配列形式に変換
- すべてのURLを一度に処理
- スクレイピングが完了したことをチームに通知
クロールを作成
リンクをたどってウェブサイト全体を自動的に発見しスクレイプ。ドキュメントサイト、ブログ、コンテンツリポジトリに最適。 使用例:- ドキュメントサイト全体をクロールしてアーカイブ
- ウェブサイトからすべてのブログ投稿を抽出
- ウェブコンテンツからナレッジベースを構築
- ウェブサイト構造の変更を監視
クロールの開始URL（http://またはhttps://を含める必要があります）
クロールする最大ページ数
ページで見つかったリンクをたどるかどうか
スクレイプされたコンテンツの形式
地域特定のクロールのためのオプションの国コード
特殊なコンテンツ抽出のためのオプションのパーサーID
- クロールID（後で結果を取得するために使用）
- オブジェクトタイプ
- ステータス
- 開始URL
- 最大ページ数
- リンクをたどる
- 作成タイムスタンプ
- 形式
ドキュメントサイトをアーカイブ
ドキュメントサイトをアーカイブ
トリガー: スケジュール - 毎月1日の午前12時アクション: Olostep - クロールを作成
- 開始URL: https://docs.example.com
- 最大ページ数: 500
- リンクをたどる: true
- 形式: Markdown
- クロールIDをアーカイブシステムに送信
- クロールが進行中であることをチームに通知
競合他社のコンテンツ分析
競合他社のコンテンツ分析
トリガー: スケジュール - 毎週月曜日の午前9時アクション: Olostep - クロールを作成
- 開始URL: 競合他社のブログURL
- 最大ページ数: 100
- 形式: Markdown
- クロールが完了するまで待機
- 分析のためにクロールデータを保存
マップを作成
コンテンツ発見とサイト構造分析のためにウェブサイトからすべてのURLを抽出。 使用例:- サイトマップとサイト構造図を作成
- バッチスクレイプ前にすべてのページを発見
- 壊れたページや欠落しているページを見つける
- SEO監査と分析
リンクを抽出するウェブサイトのURL（http://またはhttps://を含める必要があります）
URLをフィルタリングするためのオプションの検索クエリ（例：“blog”）
返されるURLの数を制限
特定のパスを含めるためのグロブパターン（例：“/blog/**”）
特定のパスを除外するためのグロブパターン（例：“/admin/**”）
- マップID
- オブジェクトタイプ
- ウェブサイトURL
- 見つかったURLの総数
- URL（JSON配列）
- 検索クエリ
- トップN制限
発見してスクレイプ
発見してスクレイプ
トリガー: Zapierでのボタンクリックアクション: Olostep - マップを作成
- URL: https://example.com
- 含めるパターン: /products/**
- トップN: 500
- マップ結果からURLを解析
- URL: {{マップからのURL}}
- 形式: JSON
- すべての製品データをスプレッドシートに追加
SEOサイト監査
SEOサイト監査
トリガー: スケジュール - 毎月アクション: Olostep - マップを作成
- URL: あなたのウェブサイト
- トップN: 1000
- 追跡のためにすべてのURLを保存
- 見つかったページの総数を報告
AIに質問
ウェブ検索または提供されたコンテキストURLを使用して質問にAIによる回答を取得。研究の自動化、コンテンツ生成、データ分析に最適。 使用例:- 引用付きの研究自動化
- 複数のURLからコンテンツを要約
- ソース参照を含むレポートを生成
- 特定のウェブページを使用して質問に回答
- コンテンツ分析と抽出
Olostep Answersに回答してほしい質問
回答を基にするためのオプションのURLのJSON配列（例：[“https://example.com/page1”, “https://example.com/page2”]）
コンテキストURLが提供されていない場合にウェブからソースを取得するためのオプションのクエリ（例：“site:example.com pricing”）
回答を生成するために使用するソースの数を制限
回答形式を選択：Markdown、JSON、またはプレーンテキスト
回答に引用/ソースを含めるかどうか
- 回答ID
- オブジェクトタイプ
- 質問
- 回答（テキスト）
- 回答（Markdown）
- 回答（JSON）
- 引用（URL、タイトル、スニペットを含むJSON配列）
- 作成タイムスタンプ
- 形式
- コンテキストURL
- 検索クエリ
- ソース数
自動化された研究レポート
自動化された研究レポート
トリガー: Slack - 新しいメッセージ（研究リクエストを含む）アクション: Olostep - AIに質問
- 質問: {{Slackメッセージ}}
- 検索クエリ: 関連する検索用語
- ソース数: 5
- 形式: Markdown
- 引用を含める: true
- AI生成の回答と引用で返信
URLからのコンテンツ要約
URLからのコンテンツ要約
トリガー: Google Sheets - 新しい行（URL付き）アクション: Olostep - AIに質問
- 質問: “これらのページからの重要なポイントを要約してください”
- コンテキストURL: {{シートからのURL}}
- 形式: Markdown
- 引用を含める: true
- ソースリンク付きで要約を保存
競争情報
競争情報
トリガー: スケジュール - 毎週アクション: Olostep - AIに質問
- 質問: “最新の製品アップデートと価格変更は何ですか？”
- 検索クエリ: site:competitor.com news OR updates
- ソース数: 10
- 形式: JSON
- 競争情報を保存
- 毎週の競争分析を送信
FAQ自動応答
FAQ自動応答
トリガー: Typeform - 新しい回答アクション: Olostep - AIに質問
- 質問: {{顧客の質問}}
- コンテキストURL: [“https://yoursite.com/docs”, “https://yoursite.com/faq”]
- 形式: テキスト
- 引用を含める: true
- AI生成の回答で顧客に返信
人気のワークフロー例
Eコマース価格監視
競合他社の価格を監視し、即時アラートを受け取る：コンテンツ集約
複数のソースからコンテンツを集約：リード強化パイプライン
ウェブ情報でリードデータを強化：研究自動化
複数のソースからの研究を自動化：ソーシャルメディア監視
言及とコンテンツを追跡：マルチステップワークフロー
完全な製品スクレイピングパイプライン
包括的な製品データパイプラインを構築：製品URLを発見
マップを作成を使用してターゲットウェブサイト上のすべての製品ページを見つける
- 含めるパターン:
/products/** - 除外するパターン:
/cart/**,/checkout/**
SEOコンテンツ戦略
競合他社を分析し、コンテンツを計画：専門パーサー
Olostepは人気のあるウェブサイト向けに事前構築されたパーサーを提供します。Parserフィールドで使用できます：
Google検索
@olostep/google-search抽出: 検索結果、タイトル、スニペット、URLパーサーの使用
パーサーIDをParserフィールドに追加するだけです：人気アプリとの統合
Google Sheets
データ収集と追跡に最適：- 価格追跡スプレッドシート
- リード強化データベース
- コンテンツインベントリ
- 競合分析シート
Airtable
スクレイプされたデータで強力なデータベースを構築：- 製品カタログ
- 研究データベース
- コンテンツカレンダー
- リンクデータベース
Slack
即時通知を受け取る：- 価格下落アラート
- コンテンツ更新通知
- エラーモニタリング
- 日次ダイジェスト
HubSpot / Salesforce
CRMデータを自動的に強化：- リード強化
- 会社の研究
- 競争情報
- アカウントマッピング
Notion
ナレッジベースを構築：- ドキュメントミラー
- 研究リポジトリ
- コンテンツライブラリ
- チームウィキ
ベストプラクティス
複数のURLにはバッチ処理を使用
複数のURLにはバッチ処理を使用
3〜5以上のURLをスクレイプする場合は、複数のウェブサイトをスクレイプアクションの代わりにURLをバッチスクレイプを使用します。バッチ処理は：
- はるかに高速（並行処理）
- よりコスト効果が高い
- 管理が容易
- レート制限に対して優れています
適切な待機時間を設定
適切な待機時間を設定
JavaScriptが多用されているサイトには、「スクレイプ前の待機時間」パラメータを使用：
- シンプルなサイト: 0-1000ms
- 動的なサイト: 2000-3000ms
- JavaScriptが重い: 5000-8000ms
専門パーサーを使用
専門パーサーを使用
人気のあるウェブサイト（Amazon、LinkedIn、Google）には事前構築されたパーサーを使用：
- 構造化データを自動的に取得
- より信頼性の高い抽出
- カスタムパーシングの必要なし
- Olostepによって維持
スクレイプ前にフィルタリング
スクレイプ前にフィルタリング
不要なスクレイプを避けるためにZapierのフィルターアクションを使用：
- URLが変更されたかどうかを確認
- データが最近スクレイプされていないことを確認
- スクレイプ前にビジネスロジックを適用
非同期操作を処理
非同期操作を処理
バッチ、クロール、マップ操作は非同期です：
- 返されたID（batch_id、crawl_id、map_id）を保存
- すぐに取得する場合は遅延アクションを使用
- 完了のためにWebhookコールバックを検討
- 取得のために別のZapを設定
結果を適切に保存
結果を適切に保存
ニーズに応じて適切なストレージを選択：
- Google Sheets: 簡単な追跡、チームコラボレーション
- Airtable: リレーショナルデータ、リッチフォーマット
- データベース: 大規模、複雑なクエリ
- Notion: ナレッジベース、ドキュメント
監視とアラート
監視とアラート
スクレイピングワークフローの監視を設定：
- Zapのエラーパスを使用
- 失敗時にSlack/Emailにアラートを送信
- OlostepダッシュボードでAPI使用状況を追跡
- 重要なメトリクスをログ
業界別の一般的な使用例
Eコマース
- 価格監視: 競合他社の価格をリアルタイムで追跡
- 製品研究: トレンド商品と市場のギャップを発見
- 在庫追跡: 在庫の可用性を監視
- レビュー分析: 顧客レビューを集約して分析
マーケティング＆SEO
- コンテンツ発見: コンテンツの機会を見つける
- 競合分析: 競合の戦略を追跡
- バックリンク研究: リンクの機会を発見
- キーワード研究: 検索結果からキーワードデータを抽出
セールス＆リードジェネレーション
- リード強化: ウェブ情報でCRMデータを強化
- 会社研究: 会社のインテリジェンスを収集
- コンタクト発見: 意思決定者を見つける
- 競争情報: 競合の動きを追跡
研究＆分析
- データ収集: 複数のソースからデータを収集
- 市場調査: 業界のトレンドを追跡
- 学術研究: 研究データを収集
- 価格インテリジェンス: 価格戦略を分析
メディア＆出版
- コンテンツ集約: 複数のサイトからコンテンツをキュレート
- ニュース監視: ニュースと言及を追跡
- ソーシャルメディア: ソーシャルプラットフォームを監視
- トレンド検出: トレンドトピックを特定
トラブルシューティング
認証に失敗
認証に失敗
エラー: “無効なAPIキー”解決策:
- ダッシュボードからAPIキーを確認
- APIキーに余分なスペースがないことを確認
- ZapierでOlostepアカウントを再接続
- APIキーがアクティブであることを確認
スクレイプが空のコンテンツを返す
スクレイプが空のコンテンツを返す
エラー: コンテンツフィールドが空解決策:
- “スクレイプ前の待機時間”を増やす
- ウェブサイトがログインを必要とするか確認
- 異なる形式（HTML対Markdown）を試す
- URLがアクセス可能であることを確認
- サイトが自動アクセスをブロックしていないか確認
バッチ配列フォーマットエラー
バッチ配列フォーマットエラー
エラー: “バッチ配列のJSONフォーマットが無効”解決策:
- フォーマットを使用:
[{"url":"https://example.com","custom_id":"id1"}] - 適切なJSON構文を確認
- URLを正しくフォーマットするためにコードステップを使用
- オンラインバリデーターでJSONをテスト
レート制限を超過
レート制限を超過
エラー: “レート制限を超過”解決策:
- 遅延を使用してZapの実行を間隔を空ける
- 個別のスクレイプの代わりにバッチ処理を使用
- Olostepプランをアップグレード
- ダッシュボードでレート制限を確認
URLがスクレイプされない
URLがスクレイプされない
エラー: 特定のURLがスクレイプに失敗解決策:
- URLフォーマットを確認（http://またはhttps://を含める）
- URLが認証を必要とするか確認
- まずブラウザでURLをテスト
- 国パラメータを試す
- ブロックされたドメインについてサポートに連絡
Zapierの制限と回避策
タスク制限
Zapierにはプランに基づくタスク制限があります。各Olostepアクションは1タスクとしてカウントされます。 回避策: 複数のURLを単一タスクとしてスクレイプするためにバッチ処理を使用。実行時間
Zapは30秒後にタイムアウトします。クロールや大規模なバッチはそれ以上かかることがあります。 回避策: IDを保存し、別のZapで結果を取得するか、Webhookを使用。データサイズ
Zapierにはタスクごとのデータサイズの制限があります。 回避策: 出力でホストされたURLを使用して、大きなコンテンツを別途取得。ポーリング対インスタント
トリガーはポーリングベースです（5-15分ごとにチェック）。 回避策: インスタント通知にはWebhookを使用するか、特定の時間にスケジュール。価格設定
OlostepはAPI使用量に基づいて課金され、Zapierとは独立しています：- スクレイプ: スクレイプごとに支払い
- バッチ: バッチ内のURLごとに支払い
- クロール: クロールされたページごとに支払い
- マップ: マップ操作ごとに支払い
サポート
Zapier統合に関するヘルプが必要ですか？関連リソース
Scrapes API
Scrapesエンドポイントについて学ぶ
Batches API
Batchesエンドポイントについて学ぶ
Crawls API
Crawlsエンドポイントについて学ぶ
Maps API
Mapsエンドポイントについて学ぶ
Python SDK
PythonでOlostepを使用
LangChain統合
LangChainでAIエージェントを構築
始めましょう
ウェブスクレイピングワークフローを自動化する準備はできましたか？最初のZapを作成
OlostepとZapierで自動化されたワークフローを構築し始める