> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Olostep + Snowflake

> 从 Snowflake SQL 搜索、抓取、映射和爬取实时网络，并使用 Olostep 原生应用将页面保存为表格。

[Snowflake Marketplace 上的 Olostep 原生应用](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)将实时网络数据引入 Snowflake。[Olostep](https://www.olostep.com) 是用于 AI 代理和企业 AI 工作流的网络数据基础设施。其 API 提供实时网络搜索、抓取和爬取功能，以从网络中提取、清理和结构化数据。

通过 SQL 调用 Olostep 来搜索网络，将页面抓取为干净的 markdown，映射和爬取网站，并获取带有来源的答案。批量抓取和爬取会作为表格保存在你的账户中，因此你可以将网络数据与自己的数据结合，加载到 Cortex Search 或在 Cortex Agents 中使用。

[在 Snowflake Marketplace 查看 →](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)

## 在你开始之前

* **拥有带有 API 密钥的 Olostep 账户：** [免费获取一个](https://www.olostep.com/dashboard)，无需信用卡。你的前 500 个积分已包含在内。
* **拥有外部访问权限的 Snowflake 账户：** 应用通过外部访问集成调用 Olostep API，试用账户不支持。
* **可以批准应用连接的角色：** 批准连接到 `api.olostep.com` 需要 `MANAGE APPLICATION SPECIFICATIONS` 权限，`ACCOUNTADMIN` 和 `SECURITYADMIN` 拥有此权限。

## 设置

**1. 获取应用**

打开[列表](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)并点击 **获取**。此页面上的示例假设你将其安装为 `olostep`。

**2. 批准连接到 Olostep API**

应用为 `api.olostep.com` 创建自己的外部访问集成，只有在你批准后才能调用 API。在 Snowsight 中，进入 **目录** > **应用** 并选择该应用。选择 **设置** 图标，然后打开 **配置** 选项卡。在 **外部连接** 下，展开 **外部访问集成** 旁的 **详细信息** 并批准 `api.olostep.com` 端点。

**3. 添加你的 API 密钥**

在同一 **配置** 选项卡下，在 **凭证** 中，添加一个 `GENERIC_STRING` 密钥，将你的 API 密钥从 [Olostep 仪表板](https://www.olostep.com/dashboard/api-keys) 保存到 **Olostep API 密钥**。

> [accordion] 更喜欢 SQL？在工作表中执行步骤 2 和 3
>
> ```sql theme={null}
> -- 批准连接，使用 SHOW SPECIFICATIONS 返回的序列号
> SHOW SPECIFICATIONS IN APPLICATION olostep;
> ALTER APPLICATION olostep APPROVE SPECIFICATION olostep_api_access SEQUENCE_NUMBER = 1;
>
> -- 将你的密钥存储在密钥中并提供给应用
> CREATE DATABASE IF NOT EXISTS olostep_config;
>
> CREATE OR REPLACE SECRET olostep_config.public.olostep_api_key
>   TYPE = GENERIC_STRING
>   SECRET_STRING = '<YOUR_OLOSTEP_API_KEY>';
>
> CALL olostep.core.register_reference('OLOSTEP_API_KEY', 'ADD',
>   SYSTEM$REFERENCE('SECRET', 'olostep_config.public.olostep_api_key', 'PERSISTENT', 'READ'));
> ```

## 程序

| 程序 | 功能 |
| - | - |
| `core.scrape(url)` | 抓取页面并返回干净的 markdown（包括 JavaScript 渲染） |
| `core.search(query, max_results)` | 搜索实时网络并返回标题、URL 和描述 |
| `core.answer(task)` | 从实时网络回答问题，并提供来源 URL |
| `core.map(url, top_n)` | 列出网站上的 URL |
| `core.batch_scrape(urls, table_name)` | 批量抓取 URL 列表并将页面保存到表格 |
| `core.crawl(url, table_name, max_pages)` | 爬取网站并将页面保存到表格 |
| `core.save_results(id, table_name)` | 保存批量或爬取时仍在运行的页面 |

每个程序返回一个 `VARIANT`。失败时返回一个对象，其中 `status` 设置为 `error`。速率限制、服务器错误和超时会自动重试。

## 使用

```sql theme={null}
-- 将页面抓取为 markdown
CALL olostep.core.scrape('https://docs.olostep.com');

-- 搜索网络
CALL olostep.core.search('最新的 AI 代理框架', 5);

-- 用来源回答问题
CALL olostep.core.answer('Next.js 的最新稳定版本是什么？');

-- 列出网站上的 URL
CALL olostep.core.map('https://docs.olostep.com', 50);
```

## 将页面保存为表格

`batch_scrape` 和 `crawl` 将每页保存为一行到 `olostep.results.<table_name>`，列为 `URL`、`MARKDOWN`、`ERROR` 和 `RETRIEVED_AT`。使用现有的表名将替换该表。

```sql theme={null}
-- 抓取你表中每个 URL
CALL olostep.core.batch_scrape(
  (SELECT ARRAY_AGG(website) FROM my_db.crm.accounts),
  'account_pages');

-- 爬取网站（最多 25 页）
CALL olostep.core.crawl('https://docs.olostep.com', 'olostep_docs', 25);

-- 查询结果，或将其复制到你自己的数据库
SELECT url, markdown FROM olostep.results.account_pages;
CREATE TABLE my_db.crm.account_pages AS SELECT * FROM olostep.results.account_pages;
```

批量和爬取通常在几分钟内完成。如果在 20 分钟后仍在运行，程序将返回其 `id`，并将 `status` 设置为 `in_progress`。稍后用以下命令保存其页面：

```sql theme={null}
CALL olostep.core.save_results('<id>', 'account_pages');
```

如果你卸载应用，`results` 中的表格将被删除，因此请将你想保留的内容复制到你自己的数据库中。

## 故障排除

* **“无法访问 api.olostep.com”：** 连接尚未批准。按照步骤 2 批准。
* **“未知的用户定义函数 INTERNAL.OLOSTEP\_REQUEST”：** API 密钥尚未添加。按照步骤 3 添加。
* **错误中的 HTTP 401：** 密钥不包含有效的 Olostep API 密钥。在 [Olostep 仪表板](https://www.olostep.com/dashboard/api-keys) 中检查。

## 资源

* [Snowflake Marketplace 上的 Olostep](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)
* [GitHub 仓库](https://github.com/olostep-api/olostep-snowflake)
* [Snowflake 原生应用文档](https://docs.snowflake.com/en/developer-guide/native-apps/native-apps-about)
* [Olostep 网站](https://www.olostep.com)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.