始める前に
- APIキー付きのOlostepアカウント: 無料で取得、クレジットカード不要。最初の500クレジットが含まれています。
- Relayアカウント: relay.appで作成してください。
- コーディング不要: このガイドのすべてはRelayのビジュアルエディタを通じて行われます。
セットアップ
アカウントを接続
ウェブサイトをスクレイピング (URL + フォーマット)
- スクレイピングするURL: 前のステップからマッピングするか、手動で入力
-
出力フォーマット:
Markdown、HTML、JSON、またはTextを選択
アクション
ウェブサイトをスクレイピング
任意のURLからMarkdown、HTML、JSON、またはプレーンテキストとしてコンテンツを取得します。JSレンダリングされたページをオプションの待機時間と国ターゲティングで処理します。
マップを作成
コンテンツをスクレイピングせずにサイト上のすべてのURLを取得します。バッチジョブの前に発見のために使用します。
map_idを返します。マップは非同期です。 返された
map_idを保存し、Relayで遅延/ポーリングパターンを使用して処理が完了したら結果を取得します。例のワークフロー: 競合ページの定期スクレイピング
内容: このワークフローはスケジュールに基づいて競合ページをスクレイピングし、後続のRelayステップで再利用できるクリーンなコンテンツを保存します。 使用するノード: スケジュール -> Olostepウェブサイトスクレイピング
ステップ1: スケジュールトリガーを追加
ワークフローを作成し、スケジュールトリガーを追加します(例: 平日の午前8時)。ステップ2: Olostepウェブサイトスクレイピングを追加
Olostepステップを追加し、ウェブサイトをスクレイピングを選択します。設定:- URL:
https://competitor.com/blog - 出力フォーマット: Markdown
ステップ3: テストと公開
出力を確認するためにテストを実行し、ワークフローを公開またはオンにします。得られるもの
各実行で分析やルーティングの準備が整ったクリーンなページコンテンツを生成します:スクレイピング結果
- ソースURL
- 選択したフォーマットで取得したコンテンツ
- Relayでのタイムスタンプ付きの実行出力
パーサー
スクレイピングアクションのParserフィールドにパーサーIDを追加して、生のコンテンツではなく構造化データを取得します:| パーサー | 抽出内容 |
|---|---|
@olostep/amazon-product | タイトル、価格、評価、レビュー、画像、バリエーション |
@olostep/google-search | 結果のタイトル、URL、スニペット |
@olostep/google-maps | ビジネス名、住所、評価、レビュー |
@olostep/extract-emails | 任意のページからのメールアドレス |
@olostep/extract-socials | ソーシャルプロファイルリンク (X, GitHub, LinkedInなど) |
@olostep/extract-calendars | GoogleカレンダーとICSリンク |
Relay.app vs Zapier
Relay.appは、レビューとAIファーストのオーケストレーションが必要なワークフローにおいてZapierの強力な代替手段です。 Relay.appの利点:- ヒューマンインザループ: ワークフロー内でのネイティブな承認とレビューのステップ
- AIファーストのワークフローデザイン: AIの意思決定と要約をファーストクラスのステップとして追加しやすい
- ワークフローの明確さ: 明確な実行コンテキストとステップ出力を持つクリーンなビジュアルビルダー
- Zapierでのみ利用可能なニッチなアプリのカバレッジが必要
- チームが既に多くのZapとZapierに関連する運用ツールを持っている
トラブルシューティング
APIキーが拒否される
APIキーが拒否される
olostep.com/dashboardから直接キーをコピーし、末尾にスペースがないことを確認します。エラーが続く場合はRelayでOlostepアカウントを再接続します。
スクレイピングされたコンテンツが空
スクレイピングされたコンテンツが空
スクレイピング前の待機時間を増やします(JSが多いページの場合は2000–5000msを試してください)。URLがログインなしで公開アクセス可能であることを確認します。特定のドメインが一貫して失敗する場合は、info@olostep.comに連絡してください。
レート制限に達した
レート制限に達した
スクレイピングが多い実行間に遅延を追加し、大規模なワークフローではバックオフを使用して再試行します。現在の使用状況はダッシュボードで確認できます。
マップステップが予想より長くかかる
マップステップが予想より長くかかる
マップは非同期です。返された
map_idを最初に保存し、処理が完了した後のステップ/実行で結果を取得します。関連
スクレイピングAPI
スクレイピングエンドポイントの完全なリファレンス
バッチAPI
バッチジョブの動作と結果の取得方法
クローリングAPI
クローリングの設定と結果の取得
マップAPI
URLの発見とフィルタリングオプション



