olostepを実行するのにPythonは必要ありません。
インストール時に、ポストインストールステップでパッケージのGitHubリリースから対応するバイナリがダウンロードされます。失敗した場合は、このパッケージバージョンとプラットフォームに対応するリリースが存在することを確認し、再インストールしてください。
インストール
要件: Node.js 16+(npm / npx のみ; CLI自体はネイティブバイナリです)。
APIキー
環境に**OLOSTEP_API_KEY**を設定するか、olostepを実行するディレクトリに.envファイルを作成してください。
キーの作成: Olostep API Keys。
出力
| フラグ | 動作 |
|---|---|
--out <path> | JSONをファイルに書き込む(必要なら親ディレクトリも作成)。 |
--out - | JSONをstdoutのみに書き込む(UTF-8、インデント付き)。パイプやサブプロセスキャプチャに最適。 |
--outを省略した場合、ファイルはoutput/に保存されます(デフォルトの--outパスを参照)。
コマンド
すべてのオプションについてはolostep <command> --helpを使用してください。ほとんどのコマンドは--timeout(HTTP、秒)を受け付けます。
map: URLの発見
| オプション | 説明 |
|---|---|
--out | ファイルパスまたは- |
--top-n | 最大URL数 |
--search-query | 発見をガイド |
--include-subdomain / --no-include-subdomain | サブドメイン |
--include-url / --exclude-url | 繰り返し可能なパターン |
--cursor | ページネーション |
--limit(削除済み)ではなく--top-nを使用してください。
answer: 調査済みの回答
回答が準備できるまでポーリングします。
| オプション | 説明 |
|---|---|
--out | ファイルまたは- |
--json-format | オプションの構造化出力ヒント(JSONオブジェクト文字列) |
--poll-interval / --poll-timeout | ポーリング(秒) |
--model(削除済み)ではなく--json-formatを使用してください。
scrape: 1つのURL
フォーマット: html、markdown、text、json、raw_pdf、screenshot(カンマ区切り; デフォルトはmarkdown)。
| オプション | 説明 |
|---|---|
--formats | カンマ区切り |
--country | 国コード |
--wait-before-scraping | スクレイプ前に待機するミリ秒 |
--payload-json | 高度なオプションをJSONオブジェクト文字列として |
--payload-file | 同じく、ファイルから(--payload-jsonと一緒には使用不可) |
scrape-get: スクレイプIDで
crawl: サイトクロール
取得フォーマット: markdown、html、json。
注目すべきフラグ: --max-pages、--max-depth、--include-subdomain、--include-external、--include-url、--exclude-url、--search-query、--top-n、--webhook、--crawl-timeout、--follow-robots-txt / --ignore-robots-txt、--formats、--pages-limit、--pages-search-query、--poll-seconds、--poll-timeout、--dry-run(ペイロードを表示、リクエストなし)。
batch-scrape: CSV
CSV列: custom_idまたはid、および**url**。
| オプション | 説明 |
|---|---|
--formats | markdown、html、json |
--country | オプション |
--parser-id | 構造化抽出パーサー |
--poll-seconds、--log-every、--items-limit | ポーリング / ページング |
--dry-run | ペイロードのみを表示 |
batch-update: バッチメタデータ
--metadata-jsonまたは--metadata-file(JSONオブジェクト)のいずれかが必要です。
デフォルトの--outパス
--outを省略した場合:
| コマンド | デフォルト |
|---|---|
map | output/map.json |
answer | output/answer.json |
scrape | output/scrape.json |
scrape-get | output/scrape_get.json |
crawl | output/crawl_results.json |
batch-scrape | output/batch_results.json |
batch-update | output/batch_update.json |
グローバルフラグ
| フラグ | 説明 |
|---|---|
-V, --version | バージョン |
-h, --help | ヘルプ |