/v1/scrapesエンドポイントを使用すると、任意のURLからリアルタイムでLLM対応のMarkdown、HTML、テキスト、スクリーンショット、または構造化されたJSONを抽出できます。
- クリーンなマークダウン、構造化データ、スクリーンショット、またはHTMLを出力
- ParsersまたはLLM抽出を通じてJSONを抽出
- 動的コンテンツを処理:jsでレンダリングされたサイト、アクションを介したログインフロー、PDF
storageパラメータで結果の保持期間を制御
URLのスクレイピング
/v1/scrapesエンドポイントを使用して単一のURLをスクレイプし、出力フォーマットを選択します。
インストール
使用方法
このエンドポイントを使用して単一のURLをスクレイプし、出力フォーマットを選択できます。必須パラメータはurl_to_scrapeとformatsです。
他の一般的なパラメータには、wait_before_scraping(ミリ秒単位)、remove_css_selectors(デフォルト、なし、またはセレクタの配列)、およびcountryがあります。
レスポンス
APIはレスポンスでscrapeオブジェクトを返します。
scrapeにはidやresultなどのプロパティがあります。
resultオブジェクトには以下のフィールドがあります(formatsパラメータに応じて一部はnullになることがあります):
html_content: ページのHTMLコンテンツ。これを取得するにはformats: ["html"]を渡します。markdown_content: ページのMDコンテンツ。これを取得するにはformats: ["markdown"]を渡します。text_content: ページのテキストコンテンツ。これを取得するにはformats: ["text"]を渡します。json_content: ページのJSONコンテンツ。これを取得するにはformats: ["json"]を渡し、さらにparserまたはllm_extractパラメータを提供します。screenshot_hosted_url: スクリーンショットのホストされたURL。html_hosted_url: HTMLコンテンツのホストされたURLmarkdown_hosted_url: MarkdownコンテンツのホストされたURLjson_hosted_url: JSONコンテンツのホストされたURLtext_hosted_url: テキストコンテンツのホストされたURLlinks_on_page: ページ上のリンクpage_metadata: ページのメタデータ
キャッシング
速度を最適化するために、OlostepはHTML、Markdown、テキスト、および解析されたJSON結果のためのオプションの共有キャッシュレイヤーを提供しています。仕組み
スクレイプが要求されると、Olostepは同じパラメータで一致するスクレイプが既に存在するかどうかを確認します。新鮮な一致が見つかると、Olostepのストレージから即座にコンテンツが提供され、新しいブラウザスクレイプが開始されません。- 共有キャッシュ: キャッシュはグローバルに共有されています。他のリクエストが同じURLを同じ構成でスクレイプしている場合、あなたはそのスピードアップの恩恵を受けます。
- ポストプロセッシングはライブ:
llm_extractやlinks_on_pageフィルタのような操作は、キャッシュされたドキュメントの上でオンザフライで実行されます。コアページの取得のみをキャッシュし、構造化された抽出を動的に保ちます。
新鮮さとmax_age
デフォルトでは、プロダクションAPIは常にリアルタイムの精度を保証するためにライブスクレイプを実行します。max_ageパラメータを使用してキャッシングをオプトインできます。
- デフォルトAPI動作 (
max_age: 0): すべてのAPIリクエストは新しいスクレイプをトリガーします。 - デフォルトプレイグラウンド動作: ダッシュボードプレイグラウンドでは、
max_ageは24時間(86400秒)にデフォルト設定されています。 - 最大年齢: キャッシュには7日間(
604800秒)のハードリミットがあります。この制限を超えるmax_ageが要求された場合、最大7日にフォールバックします。
使用例
キャッシュがスキップされる場合
キャッシュは自動的にバイパスされ(ライブスクレイプを強制)、リクエストが以下を必要とする場合:- インタラクティブセッション:
session_idを使用するリクエストやカスタムブラウザcontextをロードする場合。 - スクリーンショット:
screenshotをフォーマットに含めるか、スクリーンショットオプションを設定するリクエスト。 - 特別なファイルタイプ: バイナリファイルのダウンロードや生のPDFレンダリング。
- デバッグ&ネットワーク:
network_callsをキャプチャするか、非同期パーサージョブを使用する場合。
ストレージ
スクレイプ結果はデフォルトで約7日間保持されます。結果を長く、または無期限に保持するためにstorageオブジェクトを渡すと、後で再取得できます。結果、そのホストされたURL、およびGET /v1/scrapes/{scrape_id}はその期間中利用可能です。
max_ageは新しいリクエストがキャッシュされたページを再利用できるかどうかを制御します。storage.expires_inはこのスクレイプの結果がどれくらいの期間利用可能かを制御します。max_ageについてはキャッシングを参照してください。
storageはすべてのプランでPOST /v1/scrapesで利用可能です。
使用方法
リンクの抽出
リクエストでlinks_on_pageオブジェクトを渡して、ページ上に見つかったリンクを収集します。すべてのリンクは絶対URLとして返されます。
include_links/exclude_links: 各リンクのURLパスに対して一致するグロブパターン。query_to_order_links_by: このテキストに対する関連性で返されたリンクを再注文します。
グロブパターンはパスセグメントに一致します。単一の
*は/を越えないため、"/blog/*"は"/blog/post-1"に一致しますが、インデックス"/blog"自体には一致しません。また、クエリ文字列はパスの一部ではないため、"/blog?tag=x"には決して一致しません。インデックスも含めるには、"/blog*"または"{/blog,/blog/**}"を使用します。スクレイプフォーマット
formatsを通じて1つ以上の出力フォーマットを選択します:
markdown: LLM対応のマークダウンhtml: クリーンなHTMLtext: プレーンテキストjson: 構造化された出力(パーサーまたはllm_extractを通じて)raw_pdf: ホストされたURLに抽出された生のPDFバイトscreenshot: アクションを通じてスクリーンショットをキャプチャし、ホストされたURLを返す
result内で*_contentフィールドとして返され、*_hosted_urlも返されます。
構造化データの抽出
構造化されたJSONを抽出するには、ParsersまたはLLM抽出の2つの方法があります。パーサーを使用する(スケールに推奨)
formats: ["json"]を定義し、パーサーidを提供します。
LLM抽出を使用する(スキーマおよび/またはプロンプト)
llm_extractにJSONスキーマ(schema)および/または自然言語の指示(prompt)を提供します。両方のパラメータを渡すことができますが、両方が提供される場合、schemaが優先されます。
代わりに、promptのみを渡す場合、LLMはプロンプトに基づいてデータを抽出し、自身でデータ構造を決定します。
result.json_contentは文字列化されたJSONを返します。オブジェクトが必要な場合はコード内で解析してください。
価格: llm_extractは1スクレイプあたり10クレジットかかります。コストを下げるために、独自のAPIキーを持ち込むか、使用ベースの価格設定を有効にすることができます。アクセスを取得するにはinfo@olostep.comに連絡してください。
ページ上のリンクを抽出
links_on_pageオプションを使用して、スクレイプするページ上のすべてのリンクを抽出できます。抽出されたリンクをフィルタリングおよび順序付けするための以下のパラメータを受け入れます:
absolute_links(boolean、デフォルト:true):trueの場合、相対パス(例:/page)の代わりに完全なURL(例:https://example.com/page)を返します。query_to_order_links_by(string):提供されたクエリテキストとの類似性で返されたリンクを順序付け、最も関連性の高い一致を優先します。include_links(文字列の配列):グロブパターンを使用して抽出されたリンクをフィルタリングします。*.pdfのようなパターンを使用してファイル拡張子を一致させたり、/blog/*で特定のパスを指定したり、https://example.com/*のような完全なURLを指定したりします。ワイルドカード(*)、文字クラス([a-z])、交互({pattern1,pattern2})をサポートします。exclude_links(文字列の配列):include_linksと同じ構文を使用して特定のリンクを除外します。
アクションを使用してページと対話
動的なサイトと対話するためにスクレイプ前にアクションを実行します。サポートされているアクション:waitとmillisecondsclickとselectorfill_inputとselectorおよびvaluescrollとdirectionおよびamount
waitを使用することがよくあります。
例
markdown_content)が含まれます。
ユースケース
以下は、/scrapesエンドポイントを使用する顧客の実際のアプリケーションのいくつかです。
コンテンツ分析とリサーチ
- 競合分析: 競合他社のウェブサイトから製品の詳細、価格、機能を抽出
- 市場調査: ランディングページ、製品説明、顧客の声を分析
- 学術研究: 科学出版物や研究ポータルから特定のデータを収集
- 法的文書: 公式ウェブサイトからケーススタディ、規制、法的先例を抽出
Eコマースと小売
- 動的価格戦略: 競合店舗からリアルタイムの製品価格を取得
- 製品情報管理: 詳細な仕様と説明を抽出
- 在庫/在庫監視: 他の小売業者での製品の在庫状況を確認
- レビュー分析: 特定の製品に対する消費者のフィードバックと感情を収集
マーケティングとコンテンツ作成
- コンテンツキュレーション: ニュースレターのために関連する記事やブログ投稿を抽出
- SEO分析: 競合他社のキーワード使用、メタディスクリプション、ページ構造を調べる
- リードジェネレーション: ビジネスディレクトリや企業ページから連絡先情報を抽出
- インフルエンサーリサーチ: インフルエンサープロフィールからエンゲージメントメトリクスとコンテンツスタイルを収集
- パーソナライズされたソーシャルメディア生成: 顧客のウェブサイトを分析してAI駆動のソーシャルメディアマーケティングを作成
データアプリケーション
- AIトレーニングデータ収集: 機械学習モデルのための特定の例を収集
- カスタムナレッジベース構築: ソフトウェアサイトからドキュメントや指示を抽出
- 歴史データアーカイブ: 特定の時点でのウェブサイトコンテンツを保存
- 構造化データ抽出: ウェブコンテンツを分析のためのフォーマットされたデータセットに変換
モニタリングとアラート
- 規制コンプライアンスモニタリング: 法的または規制ウェブサイトの変更を追跡
- 危機管理: 特定のイベントや組織の言及をニュースサイトで監視
- イベントトラッキング: 会場や主催者のウェブサイトからのイベント情報を抽出
- サービスステータスモニタリング: 特定のプラットフォームやツールのサービスステータスページを確認
出版とメディア
- ニュースアグリゲーション: 公式ソースからの速報ニュースを抽出
- メディアモニタリング: ニュースサイトで特定のトピックを追跡
- コンテンツ検証: 情報を抽出して主張や声明をファクトチェック
- マルチメディア抽出: メディアライブラリのために埋め込まれたビデオ、画像、音声を収集
金融アプリケーション
- 投資リサーチ: 企業ウェブサイトから財務諸表や年次報告書を抽出
- 経済指標: 政府や金融機関のウェブサイトから経済データを収集
- 暗号通貨データ: リアルタイムの価格と市場キャップ情報を抽出
- 金融ニュース分析: 特定の市場シグナルのために金融ニュースサイトを監視
技術的アプリケーション
- APIドキュメント抽出: 参照のために技術ドキュメントを収集
- 統合テスト: サードパーティの統合を検証するためにウェブサイト要素を抽出
- アクセシビリティテスト: アクセシビリティ基準に準拠するためにウェブサイト構造を分析
- ウェブアーカイブ作成: 歴史的保存のために完全なウェブサイトコンテンツをキャプチャ
統合シナリオ
- CRMシステム: 企業ウェブサイトやLinkedinからのデータで顧客プロファイルを強化
- コンテンツ管理システム: 関連する外部コンテンツをインポート
- ビジネスインテリジェンストール: 外部市場情報で内部データを補完
- プロジェクト管理ソフトウェア: クライアントのウェブサイトから仕様や要件を抽出
- カスタムダッシュボード: 内部メトリクスと並行して抽出されたデータを表示
エラーハンドリング
すべてのエラーは共有エンベロープ形状に従います。error.typeとerror.codeをチェックしてプログラム的に分岐します:
DNS失敗 (400)
ドメインが解決しません。URLにタイプミスがないか確認してください。TLS/SSLエラー (502)
ターゲットウェブサイトには壊れたまたは非互換のHTTPS構成があります。error.detailは診断のための特定のSSLエラーコードを提供します。error.codeは常にtls_errorです。