始める前に
- APIキー付きのOlostepアカウント: 無料で取得、クレジットカードは不要です。最初の500クレジットが含まれています。
- 外部アクセス付きのSnowflakeアカウント: アプリは外部アクセス統合を通じてOlostep APIを呼び出しますが、トライアルアカウントではサポートされていません。
- アプリ接続を承認できるロール:
api.olostep.comへの接続を承認するには、MANAGE APPLICATION SPECIFICATIONS権限が必要で、ACCOUNTADMINとSECURITYADMINが持っています。
セットアップ
1
アプリを取得
リスティングを開いてGetをクリックします。このページの例では、
olostepとしてインストールすることを前提としています。2
Olostep APIへの接続を承認
アプリは
api.olostep.comのための独自の外部アクセス統合を作成しますが、承認されるまでAPIを呼び出すことはできません。Snowsightで、Catalog > Appsに移動し、アプリを選択します。Settingsアイコンを選択し、Configurationsタブを開きます。External connectionsの下で、External access integrationsの横のDetailsを展開し、api.olostep.comエンドポイントを承認します。3
APIキーを追加
同じConfigurationsタブで、Credentialsの下に、OlostepダッシュボードからのAPIキーを保持する
GENERIC_STRINGシークレットをOlostep API keyに追加します。SQLを好む?ステップ2と3をワークシートで実行
SQLを好む?ステップ2と3をワークシートで実行
手順
すべての手順は
VARIANTを返します。失敗した場合は、statusがerrorに設定されたオブジェクトを返します。レート制限、サーバーエラー、タイムアウトは自動的に再試行されます。
使用法
ページをテーブルとして保存
batch_scrapeとcrawlは、olostep.results.<table_name>にページごとに1行を保存し、URL、MARKDOWN、ERROR、RETRIEVED_ATの列があります。既存のテーブル名を使用すると、そのテーブルが置き換えられます。
statusがin_progressに設定されたidを返します。後でページを保存するには次のようにします:
results内のテーブルはアプリをアンインストールすると削除されるため、保持したいものは自分のデータベースにコピーしてください。
トラブルシューティング
- “Could not reach api.olostep.com”: 接続がまだ承認されていません。ステップ2のように承認してください。
- “Unknown user-defined function INTERNAL.OLOSTEP_REQUEST”: APIキーがまだ追加されていません。ステップ3のように追加してください。
- エラー内のHTTP 401: シークレットが有効なOlostep APIキーを保持していません。Olostepダッシュボードで確認してください。