> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Olostep + Snowflake

> Rechercher, extraire, mapper et explorer le web en direct depuis Snowflake SQL, et enregistrer les pages en tant que tables avec l’application native Olostep.

L’[application native Olostep sur le Snowflake Marketplace](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling) intègre les données web en direct dans Snowflake. [Olostep](https://www.olostep.com) est une infrastructure de données web pour les agents IA et les flux de travail IA d'entreprise. Ses API fournissent des fonctionnalités de recherche web en direct, d'extraction et d'exploration pour extraire, nettoyer et structurer les données du web.

Appelle Olostep depuis SQL pour rechercher sur le web, extraire des pages en markdown propre, mapper et explorer des sites web, et obtenir des réponses avec sources. Les extractions et explorations par lots sont enregistrées en tant que tables dans ton compte, te permettant de joindre les données web avec tes propres données, de les charger dans Cortex Search ou de les utiliser dans Cortex Agents.

[Voir sur le Snowflake Marketplace →](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)

## Avant de commencer

* **Un compte Olostep avec une clé API :** [obtiens-en une gratuitement](https://www.olostep.com/dashboard), sans carte de crédit requise. Tes 500 premiers crédits sont inclus.
* **Un compte Snowflake avec accès externe :** l'application appelle l'API Olostep via une intégration d'accès externe, que les comptes d'essai ne prennent pas en charge.
* **Un rôle pouvant approuver les connexions d'application :** l'approbation de la connexion à `api.olostep.com` nécessite le privilège `MANAGE APPLICATION SPECIFICATIONS`, que `ACCOUNTADMIN` et `SECURITYADMIN` possèdent.

## Configuration

**1. Obtenir l'application**

Ouvre la [fiche](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling) et clique sur **Obtenir**. Les exemples sur cette page supposent que tu l'installes sous le nom `olostep`.

**2. Approuver la connexion à l'API Olostep**

L'application crée sa propre intégration d'accès externe pour `api.olostep.com`, et ne peut pas appeler l'API tant que tu ne l'as pas approuvée. Dans Snowsight, va à **Catalogue** > **Applications** et sélectionne l'application. Sélectionne l'icône **Paramètres**, puis ouvre l'onglet **Configurations**. Sous **Connexions externes**, développe **Détails** à côté de **Intégrations d'accès externe** et approuve le point de terminaison `api.olostep.com`.

**3. Ajouter ta clé API**

Dans le même onglet **Configurations**, sous **Identifiants**, ajoute un secret `GENERIC_STRING` qui contient ta clé API depuis le [tableau de bord Olostep](https://www.olostep.com/dashboard/api-keys) à **Clé API Olostep**.

> [accordion] Tu préfères SQL ? Fais les étapes 2 et 3 dans une feuille de calcul
>
> ```sql theme={null}
> -- Approuver la connexion, en utilisant le numéro de séquence que SHOW SPECIFICATIONS retourne
> SHOW SPECIFICATIONS IN APPLICATION olostep;
> ALTER APPLICATION olostep APPROVE SPECIFICATION olostep_api_access SEQUENCE_NUMBER = 1;
>
> -- Stocker ta clé dans un secret et la donner à l'application
> CREATE DATABASE IF NOT EXISTS olostep_config;
>
> CREATE OR REPLACE SECRET olostep_config.public.olostep_api_key
>   TYPE = GENERIC_STRING
>   SECRET_STRING = '<YOUR_OLOSTEP_API_KEY>';
>
> CALL olostep.core.register_reference('OLOSTEP_API_KEY', 'ADD',
>   SYSTEM$REFERENCE('SECRET', 'olostep_config.public.olostep_api_key', 'PERSISTENT', 'READ'));
> ```

## Procédures

| Procédure | Ce qu'elle fait |
| - | - |
| `core.scrape(url)` | Extraire une page et retourner un markdown propre (rendu JavaScript inclus) |
| `core.search(query, max_results)` | Rechercher sur le web en direct et retourner les titres, URLs et descriptions |
| `core.answer(task)` | Répondre à une question depuis le web en direct, avec les URLs sources |
| `core.map(url, top_n)` | Lister les URLs sur un site web |
| `core.batch_scrape(urls, table_name)` | Extraire une liste d'URLs en un seul lot et enregistrer les pages dans une table |
| `core.crawl(url, table_name, max_pages)` | Explorer un site web et enregistrer les pages dans une table |
| `core.save_results(id, table_name)` | Enregistrer les pages d'un lot ou d'une exploration qui était encore en cours lorsque l'appel a été retourné |

Chaque procédure retourne un `VARIANT`. En cas d'échec, elle retourne un objet avec `status` défini sur `error`. Les limites de taux, erreurs serveur et expirations sont automatiquement réessayées.

## Utilisation

```sql theme={null}
-- Extraire une page en markdown
CALL olostep.core.scrape('https://docs.olostep.com');

-- Rechercher sur le web
CALL olostep.core.search('derniers frameworks d’agents IA', 5);

-- Répondre à une question avec sources
CALL olostep.core.answer('Quelle est la dernière version stable de Next.js ?');

-- Lister les URLs sur un site web
CALL olostep.core.map('https://docs.olostep.com', 50);
```

## Enregistrer les pages en tant que tables

`batch_scrape` et `crawl` enregistrent une ligne par page dans `olostep.results.<table_name>`, avec les colonnes `URL`, `MARKDOWN`, `ERROR` et `RETRIEVED_AT`. Utiliser un nom de table existant remplace cette table.

```sql theme={null}
-- Extraire chaque URL dans l'une de tes tables
CALL olostep.core.batch_scrape(
  (SELECT ARRAY_AGG(website) FROM my_db.crm.accounts),
  'account_pages');

-- Explorer un site web (jusqu'à 25 pages)
CALL olostep.core.crawl('https://docs.olostep.com', 'olostep_docs', 25);

-- Interroger les résultats, ou les copier dans ta propre base de données
SELECT url, markdown FROM olostep.results.account_pages;
CREATE TABLE my_db.crm.account_pages AS SELECT * FROM olostep.results.account_pages;
```

Les lots et explorations se terminent généralement en quelques minutes. Si l'un d'eux est encore en cours après 20 minutes, la procédure retourne son `id` avec `status` défini sur `in_progress`. Enregistre ses pages plus tard avec :

```sql theme={null}
CALL olostep.core.save_results('<id>', 'account_pages');
```

Les tables dans `results` sont supprimées si tu désinstalles l'application, alors copie tout ce que tu veux conserver dans ta propre base de données.

## Dépannage

* **"Impossible d'atteindre api.olostep.com" :** la connexion n'est pas encore approuvée. Approuve-la comme à l'étape 2.
* **"Fonction définie par l'utilisateur inconnue INTERNAL.OLOSTEP\_REQUEST" :** la clé API n'est pas encore ajoutée. Ajoute-la comme à l'étape 3.
* **HTTP 401 dans l'erreur :** le secret ne contient pas une clé API Olostep valide. Vérifie-la dans le [tableau de bord Olostep](https://www.olostep.com/dashboard/api-keys).

## Ressources

* [Olostep sur le Snowflake Marketplace](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)
* [Dépôt GitHub](https://github.com/olostep-api/olostep-snowflake)
* [Documentation des applications natives Snowflake](https://docs.snowflake.com/en/developer-guide/native-apps/native-apps-about)
* [Site web Olostep](https://www.olostep.com)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.