抓取和提取
从任何 URL 提取 markdown、HTML、JSON 或文本,支持可选的 JS 渲染
AI 回答
基于网络的回答,附带来源和结构化输出
批处理和爬虫
支持最多 10 万个 URL 并行处理,或自主发现整个网站
映射和搜索
查找网站上的每个 URL,或运行基于解析器的网络搜索
开始之前
你需要一个 Olostep API 密钥。可以从 Olostep 控制台获取——免费层覆盖个人使用。选择设置路径
每个客户端最快的路径是使用https://mcp.olostep.com/mcp 的托管端点。无需安装,无需 Node,无需 Docker——只需粘贴一个 URL 和你的 API 密钥。
如果你需要完全本地运行(离线使用、公司代理、隔离网络),每个客户端也支持通过 npx 的本地 stdio安装。下面的每个部分都展示了这两种方式。
托管端点使用
Authorization: Bearer YOUR_API_KEY。本地 stdio使用 OLOSTEP_API_KEY 作为环境变量。不要混淆它们——错误的认证模式是最常见的入门错误。客户端设置
- Cursor
- Claude Code
- Claude Desktop
- VS Code
- Windsurf
- Docker
- Metorial
选择合适的工具
MCP 服务器提供 10 个工具。使用此决策树选择合适的工具——代理使用相同的推理:工具详情
scrape_website
scrape_website
从单个 URL 提取内容。支持
markdown、html、json、text。可选的 country 用于地理定位请求,wait_before_scraping(0–10000 毫秒)用于 JS 密集型网站,以及 parser(例如 @olostep/amazon-product)用于结构化提取。get_webpage_content
get_webpage_content
scrape_website 的轻量级 markdown 版本。仅在你只想要干净的 markdown 且不需要格式选项时使用。search_web
search_web
查询的结构化(基于解析器)网络搜索结果。可选的
country 用于本地化结果。返回 JSON,而不是 AI 文章。answers
answers
AI 驱动的
task 回答,附带来源和引用。传递一个 json 参数以特定格式获取答案——可以是 JSON 架构或简短的自然语言描述。batch_scrape_urls
batch_scrape_urls
异步抓取你已经拥有的 2–100k 个 URL。返回一个
batch_id——然后调用 get_batch_results 获取内容。如果你想要一个单一的阻塞调用而不是轮询,请设置 wait_for_completion_seconds(最多 900)。推荐:50 个 URL 以下的批次为 60,50–1k 为 300–600,较大批次为 0(单独轮询)。get_batch_results
get_batch_results
获取
batch_id 的状态和抓取内容。返回 processing 直到完成,然后返回 completed 和项目数组。create_crawl
create_crawl
从
start_url 开始的异步爬虫。使用 include_url_patterns / exclude_url_patterns(如 /blog/** 的 glob 语法)进行范围限定。返回一个 crawl_id——然后调用 get_crawl_results。get_crawl_results
get_crawl_results
获取
crawl_id 的状态和页面。支持通过 cursor 和 items_limit(每次调用最多 100 个)进行分页。返回 in_progress 直到完成。create_map
create_map
获取网站上的 URL 列表。仅 URL 发现——不抓取。当你想要显示候选 URL 时使用(例如让用户选择一个子集)。支持
include_url_patterns / exclude_url_patterns 和 search_query。get_website_urls
get_website_urls
类似
create_map,但 URL 按与你的 search_query 的相关性排序。当你想要网站上排名前 N 的匹配链接时使用。故障排除
服务器出现但显示 0 个工具
服务器出现但显示 0 个工具
你的 API 密钥无效或已达到速率限制。打开 API 密钥控制台并验证密钥。如果使用托管端点,头必须完全是
Authorization: Bearer sk_...——值周围没有引号,没有多余的空格。npx: command not found 或 command not found: olostep-mcp
npx: command not found 或 command not found: olostep-mcp
Node.js 未安装(或不在你的 PATH 中)。从 nodejs.org 安装 Node 18+,然后重启你的终端和你的 MCP 客户端。在 Windows 上,切换到具有 Node 的 CMD/PowerShell。
mcp.olostep.com 的连接被拒绝或 DNS 错误
mcp.olostep.com 的连接被拒绝或 DNS 错误
你可能在公司代理或防火墙后面阻止了主机。切换到本地 stdio 安装(
npx -y olostep-mcp)——它会向 api.olostep.com 发出出站请求,这通常是允许的。编辑了配置但工具列表未更新
编辑了配置但工具列表未更新
客户端缓存了旧配置。完全退出并重新启动——不仅仅是关闭窗口。Claude Desktop 特别会在菜单栏/系统托盘中继续运行。
Windows 特有的 npx 失败
Windows 特有的 npx 失败
如果
npx 在 Windows 上启动服务器时出错,使用 CMD 包装的形式:使用示例
复制粘贴提示,这些提示与工具配合良好:- 抓取产品 URL 列表: “我有一个包含 200 个亚马逊产品 URL 的 CSV。批量抓取它们,使用
parser=@olostep/amazon-product并以 JSON 返回。” - 爬取文档网站: “爬取 https://stripe.com/docs,设置
max_pages=50和include_url_patterns=['/docs/**']。将每个部分总结为 markdown。” - 寻找竞争对手: “使用
answers找出 Notion 的前 5 个技术文档网站竞争对手。返回名称、主页和一句话定位。” - 映射然后抓取: “在 https://example.com 上运行
create_map,过滤到/blog/**,然后在前 20 个结果上运行batch_scrape_urls。“
