> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Olostep + Snowflake

> Snowflake SQLからライブウェブを検索、スクレイピング、マッピング、クロールし、Olostepネイティブアプリでページをテーブルとして保存します。

[Snowflake MarketplaceのOlostepネイティブアプリ](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)は、ライブウェブデータをSnowflakeに取り込みます。[Olostep](https://www.olostep.com)は、AIエージェントと企業AIワークフローのためのウェブデータインフラストラクチャです。そのAPIは、ウェブからデータを抽出、クリーン、構造化するためのライブウェブ検索、スクレイピング、クロールを提供します。

SQLからOlostepを呼び出してウェブを検索し、ページをクリーンなマークダウンにスクレイピングし、ウェブサイトをマッピングおよびクロールし、ソース付きで回答を得ることができます。バッチスクレイピングとクロールはアカウント内のテーブルとして保存されるため、ウェブデータを自身のデータと結合したり、Cortex Searchにロードしたり、Cortex Agentsで使用したりできます。

[Snowflake Marketplaceで見る →](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)

## 始める前に

* **APIキー付きのOlostepアカウント:** [無料で取得](https://www.olostep.com/dashboard)、クレジットカードは不要です。最初の500クレジットが含まれています。
* **外部アクセス付きのSnowflakeアカウント:** アプリは外部アクセス統合を通じてOlostep APIを呼び出しますが、トライアルアカウントではサポートされていません。
* **アプリ接続を承認できるロール:** `api.olostep.com`への接続を承認するには、`MANAGE APPLICATION SPECIFICATIONS`権限が必要で、`ACCOUNTADMIN`と`SECURITYADMIN`が持っています。

## セットアップ

**1. アプリを取得**

[リスティング](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)を開いて**Get**をクリックします。このページの例では、`olostep`としてインストールすることを前提としています。

**2. Olostep APIへの接続を承認**

アプリは`api.olostep.com`のための独自の外部アクセス統合を作成しますが、承認されるまでAPIを呼び出すことはできません。Snowsightで、**Catalog** > **Apps**に移動し、アプリを選択します。**Settings**アイコンを選択し、**Configurations**タブを開きます。**External connections**の下で、**External access integrations**の横の**Details**を展開し、`api.olostep.com`エンドポイントを承認します。

**3. APIキーを追加**

同じ**Configurations**タブで、**Credentials**の下に、[Olostepダッシュボード](https://www.olostep.com/dashboard/api-keys)からのAPIキーを保持する`GENERIC_STRING`シークレットを**Olostep API key**に追加します。

> [accordion] SQLを好む？ステップ2と3をワークシートで実行
>
> ```sql theme={null}
> -- SHOW SPECIFICATIONSが返すシーケンス番号を使用して接続を承認
> SHOW SPECIFICATIONS IN APPLICATION olostep;
> ALTER APPLICATION olostep APPROVE SPECIFICATION olostep_api_access SEQUENCE_NUMBER = 1;
>
> -- キーをシークレットに保存し、アプリに渡す
> CREATE DATABASE IF NOT EXISTS olostep_config;
>
> CREATE OR REPLACE SECRET olostep_config.public.olostep_api_key
>   TYPE = GENERIC_STRING
>   SECRET_STRING = '<YOUR_OLOSTEP_API_KEY>';
>
> CALL olostep.core.register_reference('OLOSTEP_API_KEY', 'ADD',
>   SYSTEM$REFERENCE('SECRET', 'olostep_config.public.olostep_api_key', 'PERSISTENT', 'READ'));
> ```

## 手順

| 手順 | 内容 |
| - | - |
| `core.scrape(url)` | ページをスクレイピングし、クリーンなマークダウンを返す（JavaScriptレンダリングを含む） |
| `core.search(query, max_results)` | ライブウェブを検索し、タイトル、URL、説明を返す |
| `core.answer(task)` | ライブウェブから質問に回答し、ソースURLを含む |
| `core.map(url, top_n)` | ウェブサイト上のURLをリスト化 |
| `core.batch_scrape(urls, table_name)` | URLのリストを一括でスクレイピングし、ページをテーブルに保存 |
| `core.crawl(url, table_name, max_pages)` | ウェブサイトをクロールし、ページをテーブルに保存 |
| `core.save_results(id, table_name)` | 呼び出しが返されたときにまだ実行中だったバッチまたはクロールのページを保存 |

すべての手順は`VARIANT`を返します。失敗した場合は、`status`が`error`に設定されたオブジェクトを返します。レート制限、サーバーエラー、タイムアウトは自動的に再試行されます。

## 使用法

```sql theme={null}
-- ページをマークダウンにスクレイピング
CALL olostep.core.scrape('https://docs.olostep.com');

-- ウェブを検索
CALL olostep.core.search('latest AI agent frameworks', 5);

-- ソース付きで質問に回答
CALL olostep.core.answer('What is the latest stable version of Next.js?');

-- ウェブサイト上のURLをリスト化
CALL olostep.core.map('https://docs.olostep.com', 50);
```

## ページをテーブルとして保存

`batch_scrape`と`crawl`は、`olostep.results.<table_name>`にページごとに1行を保存し、`URL`、`MARKDOWN`、`ERROR`、`RETRIEVED_AT`の列があります。既存のテーブル名を使用すると、そのテーブルが置き換えられます。

```sql theme={null}
-- 自分のテーブル内のすべてのURLをスクレイピング
CALL olostep.core.batch_scrape(
  (SELECT ARRAY_AGG(website) FROM my_db.crm.accounts),
  'account_pages');

-- ウェブサイトをクロール（最大25ページ）
CALL olostep.core.crawl('https://docs.olostep.com', 'olostep_docs', 25);

-- 結果をクエリするか、自分のデータベースにコピー
SELECT url, markdown FROM olostep.results.account_pages;
CREATE TABLE my_db.crm.account_pages AS SELECT * FROM olostep.results.account_pages;
```

バッチとクロールは通常数分で完了します。20分後もまだ実行中の場合、手順は`status`が`in_progress`に設定された`id`を返します。後でページを保存するには次のようにします：

```sql theme={null}
CALL olostep.core.save_results('<id>', 'account_pages');
```

`results`内のテーブルはアプリをアンインストールすると削除されるため、保持したいものは自分のデータベースにコピーしてください。

## トラブルシューティング

* **"Could not reach api.olostep.com":** 接続がまだ承認されていません。ステップ2のように承認してください。
* **"Unknown user-defined function INTERNAL.OLOSTEP\_REQUEST":** APIキーがまだ追加されていません。ステップ3のように追加してください。
* **エラー内のHTTP 401:** シークレットが有効なOlostep APIキーを保持していません。[Olostepダッシュボード](https://www.olostep.com/dashboard/api-keys)で確認してください。

## リソース

* [Snowflake MarketplaceのOlostep](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)
* [GitHubリポジトリ](https://github.com/olostep-api/olostep-snowflake)
* [Snowflakeネイティブアプリのドキュメント](https://docs.snowflake.com/en/developer-guide/native-apps/native-apps-about)
* [Olostepウェブサイト](https://www.olostep.com)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.