开始之前
- 一个带有 API 密钥的 Olostep 账户: 免费获取,无需信用卡。你将获得前 500 个积分。
- 一个 Relay 账户: 在 relay.app 创建。
- 无需编码: 本指南中的所有操作都通过 Relay 的可视化编辑器完成。
设置
连接你的账户
操作
抓取网站
从任何 URL 提取内容为 Markdown、HTML、JSON 或纯文本。处理 JS 渲染的页面,支持可选的等待时间和国家/地区目标。
创建地图
获取网站上的每个 URL,而不抓取内容。在批处理作业之前用于发现。返回一个
map_id。地图是异步的。 存储返回的
map_id,并在 Relay 中使用延迟/轮询模式在处理完成后检索结果。示例工作流:定期抓取竞争对手页面
功能说明: 按计划抓取竞争对手页面,并存储可在下游 Relay 步骤中重用的干净内容。 使用节点: Schedule -> Olostep Scrape Website
步骤 1:添加计划触发器
创建一个工作流并添加一个计划触发器(例如,每个工作日早上 8 点)。步骤 2:添加 Olostep 抓取网站
添加一个 Olostep 步骤并选择 抓取网站。设置:- URL:
https://competitor.com/blog - 输出格式: Markdown
步骤 3:测试并发布
运行测试以确认输出,然后发布或开启工作流。你将获得
每次运行都会生成准备好进行分析或路由的干净页面内容:抓取结果
- 来源 URL
- 以你选择的格式检索的内容
- 在 Relay 中带有时间戳的运行输出
解析器
在抓取操作的 解析器 字段中添加解析器 ID,以获取结构化数据而不是原始内容:| 解析器 | 提取内容 |
|---|---|
@olostep/amazon-product | 标题、价格、评分、评论、图片、变体 |
@olostep/google-search | 结果标题、URL、摘要 |
@olostep/google-maps | 商家名称、地址、评分、评论 |
@olostep/extract-emails | 从任何页面提取电子邮件地址 |
@olostep/extract-socials | 社交资料链接(X、GitHub、LinkedIn 等) |
@olostep/extract-calendars | Google 日历和 ICS 链接 |
Relay.app 与 Zapier
对于需要内置审查和 AI 优先编排的工作流,Relay.app 是 Zapier 的强大替代方案。 Relay.app 的优势:- 人机协作: 工作流中的本地审批和审查步骤
- AI 优先的工作流设计: 更容易将 AI 决策和摘要作为一流步骤添加
- 工作流清晰度: 干净的可视化构建器,具有清晰的运行上下文和步骤输出
- 你需要仅在 Zapier 上可用的小众应用的支持
- 你的团队已经有许多现有的 Zaps 和围绕 Zapier 的操作工具
故障排除
API 密钥被拒绝
API 密钥被拒绝
直接从 olostep.com/dashboard 复制密钥,确保没有尾随空格。如果错误仍然存在,请在 Relay 中重新连接 Olostep 账户。
抓取的内容为空
抓取的内容为空
增加 抓取前等待时间(对于 JS 密集型页面,尝试 2000–5000ms)。确认 URL 可以在不登录的情况下公开访问。如果一个域名持续失败,请联系 info@olostep.com。
达到速率限制
达到速率限制
在抓取密集型运行之间添加延迟,并在大型工作流中使用退避重试。检查 仪表板 中的当前使用情况。
地图步骤耗时超出预期
地图步骤耗时超出预期
地图是异步的。首先存储返回的
map_id,然后在处理完成后在后续步骤/运行中获取结果。相关内容
抓取 API
抓取端点的完整参考
批处理 API
批处理作业的工作原理以及如何检索结果
爬虫 API
爬虫配置和结果检索
地图 API
URL 发现和过滤选项




