> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Bienvenue chez Olostep
> Olostep : Infrastructure pour le deuxième utilisateur du Web. La meilleure API de recherche, de scraping et de crawling pour l’IA.
Olostep est une infrastructure pour le deuxième utilisateur du Web — offrant aux agents IA un moyen de rechercher sur le web, d'extraire des données structurées en temps réel et de créer des agents de recherche personnalisés.
## Introduction
* L'**API Olostep** est la meilleure API de **recherche web**, de **scraping** et de **crawling** pour l'IA, utilisée par certaines des startups et scaleups les plus innovantes au monde.
* L'**Agent Olostep** permet d'automatiser les **flux de travail de recherche** de manière sans code avec juste une invite en langage naturel.
**Pour les agents IA :** récupérez [docs.olostep.com/llms.txt](https://docs.olostep.com/llms.txt) pour un index complet de cette documentation avant d'explorer plus loin ou [commencez ici](https://www.olostep.com/agent-onboarding/SKILL.md).
## Utiliser Olostep depuis votre terminal et avec des agents IA
Au-delà de l'API, Olostep propose une CLI, un serveur MCP, et des compétences intégrables pour que n'importe quel outil — Claude Code, Cursor, Windsurf, et plus — puisse utiliser le web nativement.
`npm i -g olostep-cli` — scrape, cartographie, crawl, réponse, et traitement par lots du web depuis votre terminal. Sortie JSON pour scripts, CI, et agents.
Offrez à tout client MCP (Claude, Cursor, VS Code) des outils web en direct. Point de terminaison hébergé — pas d'installation nécessaire.
Compétences intégrables qui enseignent aux agents de codage IA comment et quand utiliser Olostep. Installez avec `olostep add skills`.
## Que peut faire Olostep ?
Récupérez n'importe quelle URL sous forme de Markdown propre, HTML, captures d'écran, ou JSON structuré.
Rassemblez de manière récursive chaque page d'un site, avec des filtres et une recherche.
Obtenez des réponses synthétisées par l'IA à partir de sources web en direct, avec des citations.
### Pourquoi Olostep ?
* **Conçu pour l'IA** : Markdown propre, JSON structuré, citations — sortie que vos agents et applications consomment directement.
* **Fiable à grande échelle** : Taux de succès leader dans l'industrie ; gère JavaScript, anti-bot, et proxys en arrière-plan.
* **Rapide** : Scraping unique en moins d'une seconde ; jusqu'à 10 000 URLs en un seul lot en 5–7 minutes.
* **Économique** : Nettement moins cher que les alternatives à l'échelle de production.
* **CLI + MCP + Compétences** : Utilisez Olostep depuis votre terminal, scripts, ou tout agent compatible MCP — compétences d'agent incluses.
***
## Scraper
Récupérez n'importe quelle URL sous forme de Markdown propre. Consultez la [documentation des fonctionnalités de Scraper](/features/scrapes) pour toutes les options.
```python Python theme={null}
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
result = client.scrapes.create(
url_to_scrape="https://en.wikipedia.org/wiki/Alexander_the_Great",
formats=["markdown"],
)
print(result.markdown_content)
```
```js Node theme={null}
import Olostep from 'olostep'
const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
const result = await client.scrapes.create({
url: 'https://en.wikipedia.org/wiki/Alexander_the_Great',
formats: ['markdown'],
})
console.log(result.markdown_content)
```
```bash cURL theme={null}
curl -s -X POST "https://api.olostep.com/v1/scrapes" \
-H "Authorization: Bearer $OLOSTEP_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url_to_scrape": "https://en.wikipedia.org/wiki/Alexander_the_Great",
"formats": ["markdown"]
}'
```
```bash CLI theme={null}
olostep scrape "https://en.wikipedia.org/wiki/Alexander_the_Great"
```
```json theme={null}
{
"id": "scrape_6h89o8u1kt",
"object": "scrape",
"result": {
"markdown_content": "## Alexander the Great...",
"markdown_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/markDown_6h89o8u1kt.txt",
"page_metadata": { "status_code": 200, "title": "Alexander the Great - Wikipedia" }
}
}
```
## Crawler
Rassemblez de manière récursive chaque page d'un site, avec des filtres d'inclusion/exclusion et une `search_query` optionnelle pour cibler le crawl. Consultez la [documentation des fonctionnalités de Crawler](/features/crawls).
```python Python theme={null}
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
crawl = client.crawls.create(
start_url="https://docs.olostep.com",
max_pages=50,
)
for page in crawl.pages():
print(page.url)
```
```js Node theme={null}
import Olostep from 'olostep'
const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
const crawl = await client.crawls.create({
url: 'https://docs.olostep.com',
maxPages: 50,
})
for await (const page of crawl.pages()) {
console.log(page.url)
}
```
```bash cURL theme={null}
curl -s -X POST "https://api.olostep.com/v1/crawls" \
-H "Authorization: Bearer $OLOSTEP_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"start_url": "https://docs.olostep.com",
"max_pages": 50
}'
```
```bash CLI theme={null}
olostep crawl "https://docs.olostep.com" --max-pages 50
```
```json theme={null}
{
"id": "crawl_abc123",
"object": "crawl",
"status": "completed",
"pages_count": 47,
"pages": [
{ "url": "https://docs.olostep.com/get-started/welcome", "retrieve_id": "..." },
{ "url": "https://docs.olostep.com/features/scrapes", "retrieve_id": "..." }
]
}
```
## Répondre
Posez une question et obtenez une réponse synthétisée par l'IA à partir de sources web en direct, avec des citations. Passez un schéma JSON pour façonner la sortie. Consultez la [documentation des réponses](/features/answers).
```python Python theme={null}
from olostep import Olostep
client = Olostep(api_key="YOUR_REAL_KEY")
answer = client.answers.create(task="What does Olostep do?")
print(answer.result)
print(answer.sources)
```
```js Node theme={null}
import Olostep from 'olostep'
const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
const answer = await client.answers.create({ task: 'What does Olostep do?' })
console.log(answer.result)
console.log(answer.sources)
```
```bash cURL theme={null}
curl -s -X POST "https://api.olostep.com/v1/answers" \
-H "Authorization: Bearer $OLOSTEP_API_KEY" \
-H "Content-Type: application/json" \
-d '{"task": "What does Olostep do?"}'
```
```bash CLI theme={null}
olostep answer "What does Olostep do?"
```
```json theme={null}
{
"id": "answer_abc123",
"object": "answer",
"task": "What does Olostep do?",
"result": {
"json_content": "{\"result\":\"Olostep is an API that lets AI agents search, scrape, and structure web data.\"}",
"sources": [
"https://docs.olostep.com/get-started/welcome",
"https://www.olostep.com/"
]
}
}
```
***
## Plus de capacités
Scrape jusqu'à 10 000 URLs en parallèle ; résultats en 5–7 minutes.
Découvrez chaque URL d'un site avec des motifs d'inclusion/exclusion.
Recherche web en direct avec liens structurés et scraping en ligne optionnel.
Extracteurs auto-réparateurs qui transforment les pages en JSON typé à grande échelle.
Exécutez des scrapes, crawls, et réponses sur un programme récurrent.
Téléchargez des fichiers pour les lots ou pour connecter votre base de connaissances.
***
## Ressources
Découvrez toutes les fonctionnalités prises en charge pour vos besoins en scraping et recherche IA.
Commencez à utiliser l'API et testez les différents paramètres.
Utilisez Olostep dans n8n, make, relay, zapier, etc.
Parcourez des exemples prêts à l'emploi pour commencer rapidement.