始める前に
- APIキー付きのOlostepアカウント: 無料で取得、クレジットカード不要。最初の500クレジットが含まれています。
- Relayアカウント: relay.appで作成。
- コーディング不要: このガイドのすべてはRelayのビジュアルエディタで行います。
セットアップ
アカウントを接続
ウェブサイトをスクレイプの設定(URL + フォーマット)
- スクレイプするURL: 前のステップからマッピングするか手動で入力
-
出力フォーマット:
Markdown、HTML、JSON、またはTextを選択
アクション
ウェブサイトをスクレイプ
任意のURLからMarkdown、HTML、JSON、またはプレーンテキストとしてコンテンツを取得します。JSレンダリングされたページをオプションの待機時間と国ターゲティングで処理します。
マップを作成
コンテンツをスクレイプせずにサイト上のすべてのURLを取得します。バッチジョブの前に発見のために使用します。
map_idを返します。マップは非同期です。 返された
map_idを保存し、Relayで遅延/ポーリングパターンを使用して処理が完了したら結果を取得します。例のワークフロー: 定期的な競合ページスクレイプ
内容: 定期的に競合ページをスクレイプし、後続のRelayステップで再利用できるクリーンなコンテンツを保存します。 使用ノード: スケジュール -> Olostepウェブサイトをスクレイプ
ステップ1: スケジュールトリガーを追加
ワークフローを作成し、スケジュールトリガーを追加します(例:毎週平日の午前8時)。ステップ2: Olostepウェブサイトをスクレイプを追加
Olostepステップを追加し、ウェブサイトをスクレイプを選択します。設定:- URL:
https://competitor.com/blog - 出力フォーマット: Markdown
ステップ3: テストと公開
出力を確認するためにテストを実行し、ワークフローを公開またはオンにします。得られるもの
各実行は、分析やルーティングの準備ができたクリーンなページコンテンツを生成します:スクレイプ結果
- ソースURL
- 選択したフォーマットで取得したコンテンツ
- Relayでのタイムスタンプ付き実行出力
パーサー
スクレイプアクションのパーサーフィールドにパーサーIDを追加して、生のコンテンツではなく構造化データを取得します:| パーサー | 抽出内容 |
|---|---|
@olostep/amazon-product | タイトル、価格、評価、レビュー、画像、バリアント |
@olostep/google-search | 結果タイトル、URL、スニペット |
@olostep/google-maps | 事業名、住所、評価、レビュー |
@olostep/extract-emails | 任意のページからのメールアドレス |
@olostep/extract-socials | ソーシャルプロファイルリンク(X、GitHub、LinkedInなど) |
@olostep/extract-calendars | GoogleカレンダーとICSリンク |
Relay.appとZapierの比較
Relay.appは、組み込みのレビューとAIファーストのオーケストレーションを必要とするワークフローにおいて、Zapierの強力な代替手段です。 Relay.appの利点:- 人間を介したループ: ワークフロー内でのネイティブな承認とレビューのステップ
- AIファーストのワークフローデザイン: AIの決定と要約をファーストクラスのステップとして簡単に追加
- ワークフローの明確さ: 明確な実行コンテキストとステップ出力を持つクリーンなビジュアルビルダー
- Zapierでのみ利用可能なニッチなアプリのカバレッジが必要
- チームが既に多くのZapとZapierに関連する運用ツールを持っている
トラブルシューティング
APIキーが拒否される
APIキーが拒否される
olostep.com/dashboardから直接キーをコピーし、末尾にスペースがないことを確認します。エラーが続く場合は、RelayでOlostepアカウントを再接続します。
スクレイプされたコンテンツが空
スクレイプされたコンテンツが空
スクレイプ前の待機を増やします(JSが多いページには2000〜5000msを試してください)。URLがログインなしで公開アクセス可能であることを確認します。特定のドメインが一貫して失敗する場合は、info@olostep.comに連絡してください。
レート制限に達した
レート制限に達した
スクレイプが多い実行間に遅延を追加し、大規模なワークフローにはバックオフで再試行します。現在の使用状況をダッシュボードで確認してください。
マップステップが予想より長くかかる
マップステップが予想より長くかかる
マップは非同期です。最初に返された
map_idを保存し、処理が完了したら後のステップ/実行で結果を取得します。関連
スクレイプAPI
スクレイプエンドポイントの完全なリファレンス
バッチAPI
バッチジョブの動作と結果の取得方法
クローリングAPI
クローリングの設定と結果の取得
マップAPI
URLの発見とフィルタリングオプション



