Skip to main content
POST
ウェブページのスクレイピングを開始する
オプションのキャッシュ: 同じパラメーターで最近のスクレイプを再利用するために、max_age(秒単位)を渡してページを再取得する代わりに使用します。デフォルトは0(常に新しい)です。ダッシュボードのプレイグラウンドでは、デフォルトは24時間です。詳細はキャッシングを参照してください。

承認

Authorization
string
header
必須

Bearer 形式のBearer認証ヘッダー。はあなたの認証トークンです。

ボディ

application/json
url_to_scrape
string<uri>
必須

スクレイピングを開始するURL。

wait_before_scraping
integer

スクレイピングを開始する前に待つ時間(ミリ秒)。

formats
enum<string>[]

コンテンツを取得したい形式。

利用可能なオプション:
html,
markdown,
text,
json,
raw_pdf,
screenshot
remove_css_selectors
enum<string>

コンテンツから特定のCSSセレクタを削除するオプション。オプションで、削除したい特定のセレクタのJSON文字列化された配列を渡すこともできる。このオプションがデフォルトに設定されている場合に削除されるCSSセレクタは ['nav','footer','script','style','noscript','svg',[role=alert],[role=banner],[role=dialog],[role=alertdialog],[role=region][aria-label*=skip i],[aria-modal=true] だよ。

利用可能なオプション:
default,
none,
array
actions
(待機 · object | クリック · object | 入力を埋める · object | スクロール · object)[]

コンテンツを取得する前にページで実行するアクション。

country
string

リクエストをロードする居住国。 サポートされている値は以下の通り: - US (アメリカ) - CA (カナダ) - IT (イタリア) - IN (インド) - GB (イギリス) - JP (日本) - MX (メキシコ) - AU (オーストラリア) - ID (インドネシア) - UA (UAE) - RU (ロシア) - RANDOM Google検索やGoogleニュースのスクレイピングのような一部の操作は、すべての国をサポートしているよ。

transformer
enum<string>

使用するHTMLトランスフォーマーを指定します(ある場合)。PostlightのMercury Parserライブラリを使用して、広告やその他の不要なコンテンツをスクレイピングしたコンテンツから削除します。

利用可能なオプション:
postlight,
none
remove_images
boolean
デフォルト:false

スクレイピングされたコンテンツから画像を削除するオプション。デフォルトはfalse。

remove_class_names
string[]

コンテンツから削除するクラス名のリスト。

parser
object

フォーマットとしてjsonを定義する場合、このパラメータを使用して使用するパーサーを指定できるよ。パーサーはウェブページから構造化されたコンテンツを抽出するのに役立つ。Olostepには、一般的なウェブページ用のいくつかのパーサーが組み込まれていて、自分でパーサーを作成することもできるよ。

llm_extract
object

このオプションを使用すると、スクレイピングしたページに存在するすべてのリンクを取得できるよ。リンクは常に絶対URLとして返される。

screen_size
object

画面サイズの設定。プリセットの寸法は、screen_typeを通じて利用可能です:desktop (1920x1080)、mobile (414x896)、またはdefault (768x1024)。

screenshot
object
metadata
object

ユーザー定義のメタデータ。まだサポートされていません。

max_age
integer
デフォルト:0

キャッシュされたコンテンツの許容最大年齢(秒単位)。一致するスクレイプが既に存在し、max_age秒より新しい場合、Olostepは新しいブラウザスクレイプを開始する代わりに保存された結果を返します。デフォルトは0(常に新しくスクレイプ)。ダッシュボードプレイグラウンドではデフォルトは86400(24時間)。最大許容値は604800(7日間)。詳細はスクレイプ機能ドキュメントのキャッシングセクションを参照してください。

必須範囲: x >= 0

レスポンス

スクレイプ開始の詳細を含む成功したレスポンス。

id
string

スクレイプID

object
string

オブジェクトの種類。このエンドポイントでは「scrape」。

created
number

作成されたエポック

metadata
object

ユーザー定義のメタデータ。

url_to_scrape
string

スクレイプされたURL。

result
object
credits_consumed
integer | null

このリクエストで消費されたクレジットの数。実行完了後に設定されるよ。クレジットは請求の基準だよ。

cost_usd
number | null

このリクエストのUSDでの推定コスト。実行完了後に設定されるよ。消費されたクレジットとプランのレートから計算されるよ — 99%の精度だけど、credits_consumedが正確な値だよ。