跳转到主要内容
Olostep MCP 服务器为任何兼容 MCP 的 AI 客户端(Claude、Cursor、Windsurf、VS Code、Claude Code 等)提供 10 个现成的实时网络工具——抓取、搜索、带引用的 AI 回答、批处理作业、网站爬虫和 URL 发现。

抓取和提取

从任何 URL 提取 markdown、HTML、JSON 或文本,支持可选的 JS 渲染

AI 回答

基于网络的回答,附带来源和结构化输出

批处理和爬虫

支持最多 10 万个 URL 并行处理,或自主发现整个网站

映射和搜索

查找网站上的每个 URL,或运行基于解析器的网络搜索

开始之前

你需要一个 Olostep API 密钥。可以从 Olostep 控制台获取——免费层覆盖个人使用。

选择设置路径

每个客户端最快的路径是使用 https://mcp.olostep.com/mcp 的托管端点。无需安装,无需 Node,无需 Docker——只需粘贴一个 URL 和你的 API 密钥。 如果你需要完全本地运行(离线使用、公司代理、隔离网络),每个客户端也支持通过 npx 的本地 stdio安装。下面的每个部分都展示了这两种方式。
托管端点使用 Authorization: Bearer YOUR_API_KEY。本地 stdio使用 OLOSTEP_API_KEY 作为环境变量。不要混淆它们——错误的认证模式是最常见的入门错误。

客户端设置

一键安装(推荐):将 Olostep MCP 服务器添加到 Cursor在生成的配置中将 YOUR_API_KEY 替换为你的真实密钥。手动设置:在项目根目录创建或编辑 .cursor/mcp.json(或全局的 ~/.cursor/mcp.json):
需要你的机器上安装 Node.js 18+。
验证: 打开 Cursor → 设置 → MCP。你应该看到 olostep 列出 10 个工具,包括 scrape_website。如果你看到“已连接,0 个工具”,说明你的 API 密钥错误。

选择合适的工具

MCP 服务器提供 10 个工具。使用此决策树选择合适的工具——代理使用相同的推理:
抓取整个网站? 使用 create_crawl,而不是 batch_scrape_urls。爬虫发现并抓取。批处理适用于你已经拥有的已知 URL 列表。

工具详情

从单个 URL 提取内容。支持 markdown、html、json、text。可选的 country 用于地理定位请求,wait_before_scraping(0–10000 毫秒)用于 JS 密集型网站,以及 parser(例如 @olostep/amazon-product)用于结构化提取。
scrape_website 的轻量级 markdown 版本。仅在你只想要干净的 markdown 且不需要格式选项时使用。
查询的结构化(基于解析器)网络搜索结果。可选的 country 用于本地化结果。返回 JSON,而不是 AI 文章。
AI 驱动的 task 回答,附带来源和引用。传递一个 json 参数以特定格式获取答案——可以是 JSON 架构或简短的自然语言描述。
异步抓取你已经拥有的 2–100k 个 URL。返回一个 batch_id——然后调用 get_batch_results 获取内容。如果你想要一个单一的阻塞调用而不是轮询,请设置 wait_for_completion_seconds(最多 900)。推荐:50 个 URL 以下的批次为 60,50–1k 为 300–600,较大批次为 0(单独轮询)。
获取 batch_id 的状态和抓取内容。返回 processing 直到完成,然后返回 completed 和项目数组。
从 start_url 开始的异步爬虫。使用 include_url_patterns / exclude_url_patterns(如 /blog/** 的 glob 语法)进行范围限定。返回一个 crawl_id——然后调用 get_crawl_results。
获取 crawl_id 的状态和页面。支持通过 cursor 和 items_limit(每次调用最多 100 个)进行分页。返回 in_progress 直到完成。
获取网站上的 URL 列表。仅 URL 发现——不抓取。当你想要显示候选 URL 时使用(例如让用户选择一个子集)。支持 include_url_patterns / exclude_url_patterns 和 search_query。
类似 create_map,但 URL 按与你的 search_query 的相关性排序。当你想要网站上排名前 N 的匹配链接时使用。

故障排除

你的 API 密钥无效或已达到速率限制。打开 API 密钥控制台并验证密钥。如果使用托管端点,头必须完全是 Authorization: Bearer sk_...——值周围没有引号,没有多余的空格。
Node.js 未安装(或不在你的 PATH 中)。从 nodejs.org 安装 Node 18+,然后重启你的终端和你的 MCP 客户端。在 Windows 上,切换到具有 Node 的 CMD/PowerShell。
你可能在公司代理或防火墙后面阻止了主机。切换到本地 stdio 安装(npx -y olostep-mcp)——它会向 api.olostep.com 发出出站请求,这通常是允许的。
客户端缓存了旧配置。完全退出并重新启动——不仅仅是关闭窗口。Claude Desktop 特别会在菜单栏/系统托盘中继续运行。
如果 npx 在 Windows 上启动服务器时出错,使用 CMD 包装的形式:
你在没有认证头的情况下访问了托管端点(或格式错误)。按设置选项卡中显示的方式将头添加到你的客户端配置中。

使用示例

复制粘贴提示,这些提示与工具配合良好:
  • 抓取产品 URL 列表: “我有一个包含 200 个亚马逊产品 URL 的 CSV。批量抓取它们,使用 parser=@olostep/amazon-product 并以 JSON 返回。”
  • 爬取文档网站: “爬取 https://stripe.com/docs,设置 max_pages=50 和 include_url_patterns=['/docs/**']。将每个部分总结为 markdown。”
  • 寻找竞争对手: “使用 answers 找出 Notion 的前 5 个技术文档网站竞争对手。返回名称、主页和一句话定位。”
  • 映射然后抓取: “在 https://example.com 上运行 create_map,过滤到 /blog/**,然后在前 20 个结果上运行 batch_scrape_urls。“

源代码和版本