Olostep + Mastra Integratie

npm install @olostep/mastra-tools @mastra/core

import { Mastra } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Creëer de Olostep-integratie
const olostep = createOlostepIntegration();

// Registreer API's (dit maakt ze beschikbaar voor agenten)
olostep.registerApis();

// Voeg toe aan je Mastra-configuratie
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... andere configuratie
  },
});

export OLOSTEP_API_KEY=your-api-key-here

OLOSTEP_API_KEY=your-api-key-here

// In je agent of workflow
const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://example.com',
      formats: ['markdown'],
      country: 'US',
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: [
        { url: 'https://example.com', custom_id: 'site1' },
        { url: 'https://test.com', custom_id: 'site2' },
      ],
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createCrawl',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      start_url: 'https://docs.example.com',
      max_pages: 50,
      follow_links: true,
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      search_query: 'blog',
      top_n: 100,
      include_urls: ['/blog/**'],
    }
  }
});

import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

const olostep = createOlostepIntegration();
olostep.registerApis();

const agent = new Agent({
  name: 'web-researcher',
  instructions: `
    Je bent een webonderzoeksassistent. Wanneer gebruikers je vragen om informatie van een website te halen,
    gebruik je de Olostep scrapeWebsite API om de inhoud te extraheren en deze vervolgens voor hen samen te vatten.
  `,
  model: 'openai/gpt-4',
});

// De agent kan nu Olostep API's gebruiken via Mastra's API-systeem

// 1. Map een website om URL's te ontdekken
const mapResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      include_urls: ['/blog/**'],
    }
  }
});

// 2. Batch scrape ontdekte URL's
const batchResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
      formats: ['markdown'],
    }
  }
});

// 3. Verwerk resultaten met je agent
const summary = await agent.generate({
  messages: [{
    role: 'user',
    content: `Vat deze inhoud samen: ${batchResult.result.markdown_content}`
  }]
});

Agent Workflow:
1. Scrape productpagina's (scrapeWebsite)
2. Extraheer gestructureerde data (met parser)
3. Volg prijsveranderingen
4. Genereer waarschuwingen
5. Update database

Agent Workflow:
1. Map websitestructuur (createMap)
2. Crawl belangrijke secties (createCrawl)
3. Analyseer inhoudskwaliteit
4. Identificeer SEO-kansen
5. Genereer aanbevelingen

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://www.amazon.com/dp/PRODUCT_ID',
      formats: ['json'],
      parser: '@olostep/amazon-product',
    }
  }
});

import { Mastra } from '@mastra/core';
import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Creëer en registreer Olostep-integratie
const olostep = createOlostepIntegration();
olostep.registerApis();

// Initialiseer Mastra
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... andere configuratie
  },
});

// Creëer onderzoeksagent
const researchAgent = new Agent({
  name: 'research-assistant',
  instructions: `
    Je bent een onderzoeksassistent die webdata kan zoeken, extraheren en structureren.
    Wanneer gebruikers je vragen om een onderwerp te onderzoeken:
    1. Gebruik Olostep's createMap om relevante pagina's te ontdekken
    2. Gebruik batchScrape om inhoud van meerdere bronnen te extraheren
    3. Analyseer en vat de bevindingen samen
    4. Presenteer gestructureerde onderzoeksrapporten
  `,
  model: 'openai/gpt-4',
});

// Gebruik de agent
async function researchTopic(topic: string) {
  // Stap 1: Ontdek relevante pagina's
  const mapResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'createMap',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        url: `https://example.com/search?q=${topic}`,
        top_n: 20,
      }
    }
  });

  // Stap 2: Scrape ontdekte pagina's
  const batchResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'batchScrape',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
        formats: ['markdown'],
      }
    }
  });

  // Stap 3: Analyseer met agent
  const summary = await researchAgent.generate({
    messages: [{
      role: 'user',
      content: `Op basis van deze onderzoeksdata, geef een uitgebreide samenvatting van ${topic}`
    }]
  });

  return summary;
}