- URLをスクレイピングする: ページをスクレイピングし、その内容をJavaScriptレンダリングを含むクリーンなマークダウンとして取得します。
- APIコールを行う: 検索、回答、バッチ、クロール、マップなどの任意のOlostepエンドポイントを、接続のAPIキーを追加して呼び出します。
始める前に
- APIキーを持つOlostepアカウント: 無料で取得、クレジットカードは不要です。最初の500クレジットが含まれています。
- Makeアカウント: どのプランでも動作します。
- コード不要: このガイドのすべてはMakeのシナリオエディタで行います。
セットアップ
1
Olostepモジュールを追加
シナリオを開き、+をクリックし、Olostepを検索します。URLをスクレイピングするまたはAPIコールを行うを選択します。
2
アカウントを接続
接続を作成をクリックし、名前を付け、OlostepダッシュボードからAPIキーを貼り付けます。Makeは、後で追加するすべてのOlostepモジュールのために接続を保存します。
3
モジュールを入力して実行
モジュールのフィールドに入力し(以下参照)、一度実行をクリックしてテストします。出力はその後のすべてのモジュールで利用可能です。
Olostepアプリにはトリガーがありません。シナリオを他のアプリのトリガー(Google Sheetsの新しい行、フォーム送信、Webhook)またはMakeのスケジューラーで開始します。
モジュール
URLをスクレイピングする
1ページをスクレイピングし、その内容をマークダウンとして返します。AIモジュール、ドキュメント、データベースに準備が整います。APIコールを行う
接続のAPIキーを使用して任意のOlostepエンドポイントにリクエストを送信します。単一のスクレイピングを超えるすべての用途に使用します:
バッチは最大100kのURLを1つのバッチで処理でき、10の並列バッチで1Mのリクエストにスケールできます。バッチとクロールはバックグラウンドで実行され、レスポンスには
idが含まれています。後のモジュールでバッチまたはクロールエンドポイントに渡して結果を取得します。各エンドポイントのフィールドについてはAPIリファレンスを参照してください:searches、answers、maps、batches、crawls。
例のシナリオ
- 競合他社ページの監視: スケジュールされたトリガーが価格ページのリストでURLをスクレイピングするを実行し、変更点を要約するAIモジュールにマークダウンを送信します。
- スプレッドシートからのリサーチ: 各新しいGoogle Sheetsの行が
/v1/answersでAPIコールを行うを実行し、回答とソースを行に書き戻します。 - ナレッジベースの構築: APIコールを行うがドキュメントサイトのクロールを開始し、後のモジュールが各ページのマークダウンをNotionやベクターデータベースに保存します。
トラブルシューティング
接続が失敗するか401を返す
接続が失敗するか401を返す
APIキーが欠落しているか間違っています。Olostepダッシュボードから再度コピーし、Makeで接続を更新してください。
URLをスクレイピングするがコンテンツが少ないまたはない
URLをスクレイピングするがコンテンツが少ないまたはない
URLに
https://が含まれ、ブラウザで開けることを確認してください。コンテンツの読み込みが遅いページには、ボディに"wait_before_scraping": 3000を追加して/v1/scrapesでAPIコールを行うを使用します。APIコールが404を返す
APIコールが404を返す
メソッドとパスを上記の表と照らし合わせて確認してください。すべてのパスは
/v1/で始まります。リソース
Make上のOlostep
Make上のOlostepアプリページ
APIリファレンス
すべてのOlostepエンドポイントとフィールド
Olostepウェブサイト
プランと価格