Intégration Olostep + Mastra

npm install @olostep/mastra-tools @mastra/core

import { Mastra } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Créer l'intégration Olostep
const olostep = createOlostepIntegration();

// Enregistrer les APIs (cela les rend disponibles pour les agents)
olostep.registerApis();

// Ajouter à votre configuration Mastra
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... autre configuration
  },
});

export OLOSTEP_API_KEY=your-api-key-here

OLOSTEP_API_KEY=your-api-key-here

// Dans votre agent ou workflow
const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://example.com',
      formats: ['markdown'],
      country: 'US',
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: [
        { url: 'https://example.com', custom_id: 'site1' },
        { url: 'https://test.com', custom_id: 'site2' },
      ],
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createCrawl',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      start_url: 'https://docs.example.com',
      max_pages: 50,
      follow_links: true,
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      search_query: 'blog',
      top_n: 100,
      include_urls: ['/blog/**'],
    }
  }
});

import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

const olostep = createOlostepIntegration();
olostep.registerApis();

const agent = new Agent({
  name: 'web-researcher',
  instructions: `
    Tu es un assistant de recherche web. Lorsque les utilisateurs te demandent d'obtenir des informations depuis un site web,
    utilise l'API Olostep scrapeWebsite pour extraire le contenu, puis résume-le pour eux.
  `,
  model: 'openai/gpt-4',
});

// L'agent peut maintenant utiliser les APIs Olostep via le système d'API de Mastra

// 1. Cartographier un site web pour découvrir des URLs
const mapResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      include_urls: ['/blog/**'],
    }
  }
});

// 2. Scraper en lot les URLs découvertes
const batchResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
      formats: ['markdown'],
    }
  }
});

// 3. Traiter les résultats avec votre agent
const summary = await agent.generate({
  messages: [{
    role: 'user',
    content: `Résume ce contenu : ${batchResult.result.markdown_content}`
  }]
});

Workflow de l'Agent :
1. Scraper les pages produits (scrapeWebsite)
2. Extraire des données structurées (avec parser)
3. Suivre les changements de prix
4. Générer des alertes
5. Mettre à jour la base de données

Workflow de l'Agent :
1. Cartographier la structure du site (createMap)
2. Crawler les sections importantes (createCrawl)
3. Analyser la qualité du contenu
4. Identifier les opportunités SEO
5. Générer des recommandations

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://www.amazon.com/dp/PRODUCT_ID',
      formats: ['json'],
      parser: '@olostep/amazon-product',
    }
  }
});

import { Mastra } from '@mastra/core';
import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Créer et enregistrer l'intégration Olostep
const olostep = createOlostepIntegration();
olostep.registerApis();

// Initialiser Mastra
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... autre configuration
  },
});

// Créer un agent de recherche
const researchAgent = new Agent({
  name: 'research-assistant',
  instructions: `
    Tu es un assistant de recherche capable de rechercher, extraire et structurer des données web.
    Lorsque les utilisateurs te demandent de rechercher un sujet :
    1. Utilise createMap d'Olostep pour découvrir des pages pertinentes
    2. Utilise batchScrape pour extraire le contenu de plusieurs sources
    3. Analyse et résume les résultats
    4. Présente des rapports de recherche structurés
  `,
  model: 'openai/gpt-4',
});

// Utiliser l'agent
async function researchTopic(topic: string) {
  // Étape 1 : Découvrir des pages pertinentes
  const mapResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'createMap',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        url: `https://example.com/search?q=${topic}`,
        top_n: 20,
      }
    }
  });

  // Étape 2 : Scraper les pages découvertes
  const batchResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'batchScrape',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
        formats: ['markdown'],
      }
    }
  });

  // Étape 3 : Analyser avec l'agent
  const summary = await researchAgent.generate({
    messages: [{
      role: 'user',
      content: `Sur la base de ces données de recherche, fournissez un résumé complet de ${topic}`
    }]
  });

  return summary;
}