跳转到主要内容
Snowflake Marketplace 上的 Olostep 原生应用将实时网络数据引入 Snowflake。Olostep 是用于 AI 代理和企业 AI 工作流的网络数据基础设施。其 API 提供实时网络搜索、抓取和爬取功能,以从网络中提取、清理和结构化数据。 通过 SQL 调用 Olostep 来搜索网络,将页面抓取为干净的 markdown,映射和爬取网站,并获取带有来源的答案。批量抓取和爬取会作为表格保存在你的账户中,因此你可以将网络数据与自己的数据结合,加载到 Cortex Search 或在 Cortex Agents 中使用。 在 Snowflake Marketplace 查看 →

在你开始之前

  • 拥有带有 API 密钥的 Olostep 账户: 免费获取一个,无需信用卡。你的前 500 个积分已包含在内。
  • 拥有外部访问权限的 Snowflake 账户: 应用通过外部访问集成调用 Olostep API,试用账户不支持。
  • 可以批准应用连接的角色: 批准连接到 api.olostep.com 需要 MANAGE APPLICATION SPECIFICATIONS 权限,ACCOUNTADMIN 和 SECURITYADMIN 拥有此权限。

设置

1

获取应用

打开列表并点击 获取。此页面上的示例假设你将其安装为 olostep。
2

批准连接到 Olostep API

应用为 api.olostep.com 创建自己的外部访问集成,只有在你批准后才能调用 API。在 Snowsight 中,进入 目录 > 应用 并选择该应用。选择 设置 图标,然后打开 配置 选项卡。在 外部连接 下,展开 外部访问集成 旁的 详细信息 并批准 api.olostep.com 端点。
3

添加你的 API 密钥

在同一 配置 选项卡下,在 凭证 中,添加一个 GENERIC_STRING 密钥,将你的 API 密钥从 Olostep 仪表板 保存到 Olostep API 密钥。

程序

每个程序返回一个 VARIANT。失败时返回一个对象,其中 status 设置为 error。速率限制、服务器错误和超时会自动重试。

使用

将页面保存为表格

batch_scrape 和 crawl 将每页保存为一行到 olostep.results.<table_name>,列为 URL、MARKDOWN、ERROR 和 RETRIEVED_AT。使用现有的表名将替换该表。
批量和爬取通常在几分钟内完成。如果在 20 分钟后仍在运行,程序将返回其 id,并将 status 设置为 in_progress。稍后用以下命令保存其页面:
如果你卸载应用,results 中的表格将被删除,因此请将你想保留的内容复制到你自己的数据库中。

故障排除

  • “无法访问 api.olostep.com”: 连接尚未批准。按照步骤 2 批准。
  • “未知的用户定义函数 INTERNAL.OLOSTEP_REQUEST”: API 密钥尚未添加。按照步骤 3 添加。
  • 错误中的 HTTP 401: 密钥不包含有效的 Olostep API 密钥。在 Olostep 仪表板 中检查。

资源