Skip to main content
NPM 包: olostep-cli 代码库: github.com/olostep-api/olostep-cli 用于 Olostep API 的 CLI — 从终端抓取搜索映射爬取回答批处理网络。每个命令返回JSON,因此可以干净地传递给 jq、代理和 CI。 纯 JavaScript,Node 18+,无需下载本地二进制文件。安装不到一秒,启动约需 200 毫秒,作为单个约 100 KB 的包发布。

安装

要求: Node.js 18+
npm install -g olostep-cli
olostep init
olostep init 是推荐的下一步 — 它会让你登录,将 Olostep 技能安装到你的 AI 代理中,并配置 MCP 服务器,所有这些都在一个命令中完成。单行脚本将 npm install -g olostep-cli 包装在 Node 18+ 检查和 sudo 回退中,因此即使你不确定本地设置,它们也能正常工作。 平台: macOS (Apple Silicon 和 Intel), Linux (x64 和 arm64), Windows (x64 和 arm64)。

设置

一个命令完成所有操作 — 登录、安装技能和安装 MCP 服务器:
olostep init
标志: --skills-only, --mcp-only, --no-browser, --relogin. 登录(无技能/MCP):
olostep login
olostep login --no-browser     # 打印 URL(通过 SSH 时很有用)
浏览器会打开到 Olostep 认证页面;你点击授权,CLI 会将你的密钥保存在本地。 替代方法 — 设置环境变量。 适用于 CI:
export OLOSTEP_API_KEY=your_key_here
API 密钥仪表板 获取密钥。 密钥存储位置(在 olostep login 之后):
操作系统路径
macOS~/Library/Application Support/olostep-cli/credentials.json
Linux~/.config/olostep-cli/credentials.json
Windows%USERPROFILE%\AppData\Roaming\olostep-cli\credentials.json

登出

olostep logout            # 提示确认,然后删除 credentials.json
olostep logout --dry-run  # 仅预览 — 查看会发生什么
olostep logout --yes      # 跳过确认(用于脚本)
olostep logout --json     # 机器可读输出
logout 还会警告你,如果 OLOSTEP_API_KEY / OLOSTEP_API_TOKEN 环境变量或当前目录中的 .env 文件仍然保存有密钥 — 这些优先于凭据文件,因此仅删除文件可能不够。输出包括 PowerShell 和 bash/zsh 的确切 unset 命令。

快速开始

olostep login

olostep search "best web scraping APIs 2025" --limit 5
olostep answer "What does Olostep do?"
olostep map "https://example.com" --top-n 20
olostep scrape "https://example.com" --formats markdown
olostep crawl "https://docs.example.com" --max-pages 50
olostep batch-scrape urls.csv --formats markdown,html
每个命令默认将其 JSON 结果打印到 stdout。传递 --out <path> 保存到文件。

它能做什么?

你想要…命令Olostep 产品
搜索网络search搜索
获取研究答案answer回答
发现网站上的 URLmap映射
抓取一个页面scrape抓取
抓取网站上的每个页面crawl爬取
从 CSV 中抓取多个 URLbatch-scrape批处理
提取结构化字段--parser-idbatch-scrape解析器
按 ID 重新获取结果scrape-get抓取
标记/组织批处理batch-update批处理

输出

每个命令默认将其 JSON 结果打印到 stdout
标志行为
(无)打印 JSON 到 stdout (UTF-8, 缩进)
--out <path>将 JSON 写入该文件
--out -明确 stdout (与默认相同)
进度和日志行发送到 stderr,因此 stdout 保持干净以供管道使用。
olostep map "https://example.com" --top-n 20 | jq '.urls[:10]'
olostep scrape "https://example.com" | jq .result.markdown_content
olostep search "topic" --json | jq '.links[].url'
如何选择:
  • search — 你想要查询的相关 URL 和片段列表。CLI 为你搜索网络。
  • answer — 你想要合成的答案,而不是原始页面内容。CLI 为你进行研究。
  • scrape — 你已经有了 URL 并想要获取干净的内容。
  • crawl — 你想要网站上的每个页面(或过滤后的子集),而无需手动枚举 URL。
  • batch-scrape — 你有一个 URL 列表,并希望它们并行处理。

命令

使用 olostep <command> --help 查看每个选项。

search: 实时网络搜索

返回去重的自然链接(URL、标题、描述)。
选项描述
--limit结果数量,默认 12,最大 25
--include-domains逗号分隔的域名以限制结果
--exclude-domains逗号分隔的域名以排除
--out文件或 -
--json机器可读输出
olostep search "TypeScript CLI tools" --limit 10
olostep search "open source projects" --include-domains "github.com" --limit 5
olostep search "AI agents" --json | jq '.links[].url'

answer: 研究答案

同步 — 当答案准备好时返回。
选项描述
--out文件或 -
--json-format可选的 JSON 形状用于结构化输出
olostep answer "What does this company build?" --out answer.json
olostep answer "Extract facts" --json-format '{"company":"","year":""}' --out -

map: 发现 URL

选项描述
--out文件路径或 -
--top-n返回的最大 URL 数量
--search-query可选查询以指导发现
--include-subdomain / --no-include-subdomain子域
--include-url / --exclude-url可重复的 URL 模式
--cursor分页游标
olostep map "https://example.com" --top-n 100 --search-query "blog"

scrape: 一个 URL

格式: html, markdown, text, json, raw_pdf, screenshot (逗号分隔; 默认 markdown)。
选项描述
--formats逗号分隔
--country国家代码 (例如 US, GB)
--wait-before-scraping抓取前等待 (ms)
--payload-json / --payload-file高级选项为 JSON (例如 "max_age": 86400 以选择缓存 — 参见 缓存)
olostep scrape "https://example.com" --formats markdown,html
olostep scrape "https://example.com" --payload-file options.json --out -

scrape-get: 按 ID 获取

olostep scrape-get "scrape_abc123" --out -

crawl: 整个网站

启动爬取,轮询直到完成,然后检索页面内容。 检索格式: markdown, html, json. 显著标志: --max-pages, --max-depth, --include-subdomain, --include-external, --include-url, --exclude-url, --search-query, --top-n, --webhook, --crawl-timeout, --formats, --pages-limit, --pages-search-query, --poll-seconds, --poll-timeout, --dry-run.
olostep crawl "https://docs.example.com" --max-pages 50 --formats markdown,html
olostep crawl "https://example.com" --max-pages 10 --dry-run

batch-scrape: CSV

CSV 必须有一个带有 custom_id(或 id)和 url 列的标题行。
custom_id,url
example,https://example.com
iana,https://iana.org
docs,https://docs.olostep.com
选项描述
--formatsmarkdown, html, json (逗号分隔)
--country可选国家代码
--parser-id解析器 ID 用于结构化提取
--poll-seconds, --log-every, --items-limit轮询和分页
--dry-run打印负载并退出
olostep batch-scrape urls.csv --formats markdown,html
olostep batch-scrape urls.csv --parser-id "<PARSER_ID>" --out results.json
同步 — 轮询直到批处理完成,然后检索每个项目。

batch-update: 批处理元数据

需要 其中之一 --metadata-json--metadata-file (JSON 对象)。
olostep batch-update "batch_abc123" --metadata-json '{"team":"growth"}'
olostep batch-update "batch_abc123" --metadata-file meta.json

认证命令

olostep login                      # 浏览器 PKCE 登录
olostep logout                     # 删除保存的凭据
olostep status                     # 显示认证状态、配置路径、版本

olostep auth login                 # 同 olostep login
olostep auth logout                # 同 olostep logout
olostep auth status                # 同 olostep status
olostep auth set-key <key>         # 直接保存 API 密钥(无需浏览器)
auth set-key 对于 CI 和脚本很有用 — 直接写入密钥而无需通过浏览器流程。

安装 MCP 服务器

CLI 将 Olostep MCP 服务器写入你的代理的配置中 — 无需 JSON 编辑。
olostep mcp install                          # 检测代理,托管端点
olostep mcp install --agent cursor           # 仅 Cursor
olostep mcp install --transport stdio        # 本地 npx 而不是托管
olostep mcp install --no-global              # 写入当前项目
olostep mcp install --dry-run --json         # 仅计划
olostep mcp uninstall                        # 移除 olostep 条目
olostep list mcp                             # 显示哪些代理有它
选项描述
--agent特定代理,可重复。支持: cursor, claude, claude-desktop, windsurf, vscode, kilo, opencode, continue, codex
--all-agents / --no-all-agents目标所有检测到的代理(默认)
--transporthttp (托管,推荐) 或 stdio (本地 npx olostep-mcp)
--global / --no-global每用户配置(默认)与项目本地
--api-key嵌入的密钥;默认为解析的凭据
--dry-run显示计划而不写入
--json机器可读输出
托管端点位于 https://mcp.olostep.com/mcp 使用 Authorization: Bearer <key> — 无需本地 Node 进程。CLI 仅将 olostep 键合并到现有配置中。安装后重启你的代理。

AI 代理技能

CLI 提供 13 个 Olostep 技能SKILL.md 文件安装到 Claude Code、Cursor 和其他代理中,因此它们知道 Olostep 可以做什么以及何时使用。
olostep add skills                     # 安装到每个检测到的代理中
olostep skills install                 # 同上(别名)
olostep skills update                  # 重新安装/刷新所有技能
olostep skills list                    # 查看安装了什么以及在哪里
olostep skills uninstall               # 移除所有技能
过滤安装内容:
olostep add skills --category usage    # 仅核心网络数据技能
olostep add skills --skill scrape --skill map
olostep add skills --agent cursor --agent claude
查看 技能 获取完整列表和选项。

健康检查

olostep doctor                         # 运行所有检查
olostep doctor --skip-network          # 仅认证 + 配置,无 HTTP 调用
olostep doctor --json                  # NDJSON — 每个检查一条记录(适合 CI)
olostep doctor --fail-on-warn          # 在警告时也退出 1
检查:API 密钥存在,API 密钥可访问,MCP 端点可访问,每个检测到的代理的配置文件存在。 CI 使用:
olostep doctor --json --skip-network | jq 'select(.status == "fail")'

版本 & 更新

olostep version                        # CLI 版本,Node 版本,频道
olostep version --json                 # 机器可读: { cli, node, channel }
olostep update                         # 更新到最新 (npm install -g olostep-cli@latest)
olostep update --check                 # 检查是否有新版本可用,不安装

环境变量

变量影响
OLOSTEP_API_KEYAPI 密钥
OLOSTEP_API_TOKENAPI 密钥(旧别名)
OLOSTEP_JSON=1强制每个命令输出 JSON(与全局 --json 相同)
OLOSTEP_NO_UPDATE_CHECK=1静音“更新可用”通知
OLOSTEP_CLI_CONFIG_DIR覆盖凭据目录

Windows / PowerShell 注意事项

PowerShell 对 ,* 的标记化与 bash 不同 — 引用参数:
olostep scrape "https://example.com" --formats "markdown,html"
olostep map   "https://example.com" --include-url "/*"
olostep answer "Extract facts" --json-format '{"company":"","year":""}'
单引号对于 JSON 值最安全(无 $ 插值)。

查看已安装内容

olostep list skills    # 已安装的 Olostep 技能及哪些代理有它们
olostep list mcp       # 哪些代理有 Olostep MCP 服务器,以及传输方式

全局标志

标志描述
-V, --version版本
-h, --help帮助
--out, --timeout, 和 --api-key 在每个数据命令上都可用。

安全

保持 API 密钥不在源代码控制中;如果泄露则旋转。olostep logout 删除本地凭据文件,并告知你是否有任何环境变量来源仍然保存有密钥。

相关