olostep。
在安装时,postinstall 步骤会从包的 GitHub releases 下载匹配的二进制文件。如果失败,请确认该包版本和你的平台是否存在发布版本,然后重新安装。
安装
要求: Node.js 16+(仅用于npm / npx; CLI 本身是一个本地二进制文件)。
API 密钥
在你的环境中设置OLOSTEP_API_KEY,或在运行 olostep 的目录中设置 .env 文件。
创建密钥:Olostep API 密钥。
输出
| 标志 | 行为 |
|---|---|
--out <path> | 将 JSON 写入文件(如有需要,创建父目录)。 |
--out - | 仅将 JSON 写入 stdout(UTF-8,缩进)。适用于管道和子进程捕获。 |
--out,文件将放在 output/ 下(参见 默认 --out 路径)。
命令
使用olostep <command> --help 查看每个选项。大多数命令接受 --timeout(HTTP,秒)。
map: 发现 URL
| 选项 | 描述 |
|---|---|
--out | 文件路径或 - |
--top-n | 最大 URL 数 |
--search-query | 引导发现 |
--include-subdomain / --no-include-subdomain | 子域名 |
--include-url / --exclude-url | 可重复的模式 |
--cursor | 分页 |
--top-n,而不是 --limit(已移除)。
answer: 研究答案
轮询直到答案准备好。
| 选项 | 描述 |
|---|---|
--out | 文件或 - |
--json-format | 可选的结构化输出提示(JSON 对象字符串) |
--poll-interval / --poll-timeout | 轮询(秒) |
--json-format,而不是 --model(已移除)。
scrape: 单个 URL
格式: html、markdown、text、json、raw_pdf、screenshot(逗号分隔;默认 markdown)。
| 选项 | 描述 |
|---|---|
--formats | 逗号分隔 |
--country | 国家代码 |
--wait-before-scraping | 抓取前等待的毫秒数 |
--payload-json | 高级选项作为 JSON 对象字符串 |
--payload-file | 同上,从文件中读取(不能与 --payload-json 一起使用) |
scrape-get: 通过抓取 ID
crawl: 网站爬取
检索格式: markdown、html、json。
重要标志:--max-pages、--max-depth、--include-subdomain、--include-external、--include-url、--exclude-url、--search-query、--top-n、--webhook、--crawl-timeout、--follow-robots-txt / --ignore-robots-txt、--formats、--pages-limit、--pages-search-query、--poll-seconds、--poll-timeout、--dry-run(打印负载,无请求)。
batch-scrape: CSV
CSV 列:custom_id 或 id,以及 url。
| 选项 | 描述 |
|---|---|
--formats | markdown、html、json |
--country | 可选 |
--parser-id | 结构化提取解析器 |
--poll-seconds、--log-every、--items-limit | 轮询 / 分页 |
--dry-run | 仅打印负载 |
batch-update: 批量元数据
需要 以下之一 --metadata-json 或 --metadata-file(JSON 对象)。
默认 --out 路径
当省略 --out 时:
| 命令 | 默认 |
|---|---|
map | output/map.json |
answer | output/answer.json |
scrape | output/scrape.json |
scrape-get | output/scrape_get.json |
crawl | output/crawl_results.json |
batch-scrape | output/batch_results.json |
batch-update | output/batch_update.json |
全局标志
| 标志 | 描述 |
|---|---|
-V, --version | 版本 |
-h, --help | 帮助 |