すべてはオブジェクト
Olostepのすべてのリソースは、ユニークな識別子を持つオブジェクトです。API、SDK、またはダッシュボードを介して作成する場合でも、参照、更新、クエリが可能なオブジェクトが返されます。オブジェクトにはライフサイクルがある
一部のOlostepオブジェクトは、statusフィールドを通じて状態を追跡します。この状態機械パターンにより、各リソースがライフサイクルのどこにあるかを正確に知ることができます。
バッチ
バッチには、バッチ自体と個々のアイテムの2つのステータスレベルがあります。 バッチステータス:バッチレベルの失敗は非常に稀です。 バッチはほぼ必ず完了します — 一部のURLが失敗しても、バッチ自体は
completedステータスに達します。壊滅的なインフラストラクチャの失敗(例:エンリッチメント中のLLMサービスの停止)の場合にのみ、バッチが失敗することがあります。これはバッチの0.01%未満に影響します。
アイテムが失敗する理由:
- URLがブロックされているかエラーを返す
- パーサーの出力が欠落している
- ネットワーク/フェッチエラー
codeとmessageを含むerrorオブジェクトが含まれます。バッチは依然として完了します — 結果を処理する際に各アイテムのステータスを確認してください。
クローラー
クローラーは常に完了します。 たとえクロールが0 URLを発見した場合(robots.txtによるブロックや無効な開始URLのため)、クロールステータスは
completedになります。結果を確認するにはpages_countフィールドを確認してください。モニター
モニターは、ワンショットリソースよりも豊富なライフサイクルを持つ長寿命のオブジェクトです:
モニターを作成すると、HTTP
202がstatus: provisioningで返されます。モニターは、計画が追跡対象を解決するとactiveになります — GET /v1/monitors/:monitor_idをポーリングするか、?stream=1でプロビジョニングイベントをストリーミングします。activeなモニターのみが一時停止でき、pausedなモニターのみが再開できます。更新はモニターがまだprovisioning中の場合、409を返します。
リトリーブパターン
多くのオブジェクトは、後で取得できるコンテンツを生成します。retrieve_idパターンを使用すると、再処理せずにコンテンツを取得できます。
- バッチアイテム — 処理された各URLに
retrieve_idが付与されます - クロールページ — クロールされた各ページに
retrieve_idが付与されます
/v1/retrieveエンドポイントは、返すコンテンツタイプを指定するformatsパラメータを受け入れます(html、markdown、json、text)。