- 抓取一个URL: 抓取一个页面并将其内容作为干净的markdown获取,包括JavaScript渲染。
- 进行API调用: 调用任何其他Olostep端点,如搜索、答案、批处理、爬取和地图,并为你添加连接的API密钥。
在你开始之前
- 一个带有API密钥的Olostep账户: 免费获取一个,无需信用卡。你将获得前500个积分。
- 一个Make账户: 任何计划都可以。
- 无需编码: 本指南中的所有操作都在Make的场景编辑器中完成。
设置
1
添加Olostep模块
打开一个场景,点击 +,然后搜索 Olostep。选择 抓取一个URL 或 进行API调用。
2
连接你的账户
点击 创建一个连接,给它命名,然后从 Olostep仪表板 粘贴你的API密钥。Make会保存你稍后添加的每个Olostep模块的连接。
3
填写模块并运行
输入模块的字段(见下文),然后点击 运行一次 进行测试。输出可用于其后的每个模块。
Olostep应用没有触发器。用其他应用的触发器(例如Google Sheets中的新行、表单提交、webhook)或Make的调度器开始你的场景。
模块
抓取一个URL
抓取一个页面并将其内容作为markdown返回,适用于AI模块、文档或数据库。进行API调用
使用你的连接的API密钥向任何Olostep端点发送请求。用于单次抓取之外的所有操作:
批处理最多可在一个批次中处理10万个URLs,你可以通过10个并行批次扩展到100万个请求。批处理和爬取在后台运行:响应中有一个
id,你可以在后续模块中将其传递给批处理或爬取端点以获取结果。查看API参考以了解每个端点的字段:搜索, 答案, 地图, 批处理 和 爬取。
示例场景
- 监控竞争对手页面: 一个计划触发器在一系列定价页面上运行 抓取一个URL,并将markdown发送到一个AI模块以总结变化。
- 从电子表格进行研究: 每个新的Google Sheets行在
/v1/answers上运行 进行API调用,并将答案和来源写回行中。 - 构建知识库: 进行API调用 开始爬取你的文档网站,后续模块将每个页面的markdown存储在Notion或向量数据库中。
故障排除
连接失败或返回401
连接失败或返回401
API密钥丢失或错误。再次从 Olostep仪表板 复制并更新Make中的连接。
抓取一个URL返回内容很少或没有内容
抓取一个URL返回内容很少或没有内容
检查URL是否包含
https:// 并能在浏览器中打开。对于加载内容较晚的页面,使用 进行API调用 在 /v1/scrapes 上,主体中包含 "wait_before_scraping": 3000。进行API调用返回404
进行API调用返回404
根据上表检查方法和路径。每个路径都以
/v1/ 开头。