メインコンテンツへスキップ
Snowflake MarketplaceのOlostepネイティブアプリは、ライブウェブデータをSnowflakeに取り込みます。Olostepは、AIエージェントと企業AIワークフローのためのウェブデータインフラストラクチャです。そのAPIは、ウェブからデータを抽出、クリーン、構造化するためのライブウェブ検索、スクレイピング、クロールを提供します。 SQLからOlostepを呼び出してウェブを検索し、ページをクリーンなマークダウンにスクレイピングし、ウェブサイトをマッピングおよびクロールし、ソース付きで回答を得ることができます。バッチスクレイピングとクロールはアカウント内のテーブルとして保存されるため、ウェブデータを自身のデータと結合したり、Cortex Searchにロードしたり、Cortex Agentsで使用したりできます。 Snowflake Marketplaceで見る →

始める前に

  • APIキー付きのOlostepアカウント: 無料で取得、クレジットカードは不要です。最初の500クレジットが含まれています。
  • 外部アクセス付きのSnowflakeアカウント: アプリは外部アクセス統合を通じてOlostep APIを呼び出しますが、トライアルアカウントではサポートされていません。
  • アプリ接続を承認できるロール: api.olostep.comへの接続を承認するには、MANAGE APPLICATION SPECIFICATIONS権限が必要で、ACCOUNTADMINとSECURITYADMINが持っています。

セットアップ

1

アプリを取得

リスティングを開いてGetをクリックします。このページの例では、olostepとしてインストールすることを前提としています。
2

Olostep APIへの接続を承認

アプリはapi.olostep.comのための独自の外部アクセス統合を作成しますが、承認されるまでAPIを呼び出すことはできません。Snowsightで、Catalog > Appsに移動し、アプリを選択します。Settingsアイコンを選択し、Configurationsタブを開きます。External connectionsの下で、External access integrationsの横のDetailsを展開し、api.olostep.comエンドポイントを承認します。
3

APIキーを追加

同じConfigurationsタブで、Credentialsの下に、OlostepダッシュボードからのAPIキーを保持するGENERIC_STRINGシークレットをOlostep API keyに追加します。

手順

すべての手順はVARIANTを返します。失敗した場合は、statusがerrorに設定されたオブジェクトを返します。レート制限、サーバーエラー、タイムアウトは自動的に再試行されます。

使用法

ページをテーブルとして保存

batch_scrapeとcrawlは、olostep.results.<table_name>にページごとに1行を保存し、URL、MARKDOWN、ERROR、RETRIEVED_ATの列があります。既存のテーブル名を使用すると、そのテーブルが置き換えられます。
バッチとクロールは通常数分で完了します。20分後もまだ実行中の場合、手順はstatusがin_progressに設定されたidを返します。後でページを保存するには次のようにします:
results内のテーブルはアプリをアンインストールすると削除されるため、保持したいものは自分のデータベースにコピーしてください。

トラブルシューティング

  • “Could not reach api.olostep.com”: 接続がまだ承認されていません。ステップ2のように承認してください。
  • “Unknown user-defined function INTERNAL.OLOSTEP_REQUEST”: APIキーがまだ追加されていません。ステップ3のように追加してください。
  • エラー内のHTTP 401: シークレットが有効なOlostep APIキーを保持していません。Olostepダッシュボードで確認してください。

リソース