Olostep + Mastra Integratie

npm install @olostep/mastra-tools @mastra/core

import { Mastra } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Maak de Olostep-integratie
const olostep = createOlostepIntegration();

// Registreer API's (dit maakt ze beschikbaar voor agenten)
olostep.registerApis();

// Voeg toe aan je Mastra-config
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... andere config
  },
});

export OLOSTEP_API_KEY=your-api-key-here

OLOSTEP_API_KEY=your-api-key-here

// In je agent of workflow
const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://example.com',
      formats: ['markdown'],
      country: 'US',
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: [
        { url: 'https://example.com', custom_id: 'site1' },
        { url: 'https://test.com', custom_id: 'site2' },
      ],
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createCrawl',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      start_url: 'https://docs.example.com',
      max_pages: 50,
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      search_query: 'blog',
      top_n: 100,
      include_urls: ['/blog/**'],
    }
  }
});

import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

const olostep = createOlostepIntegration();
olostep.registerApis();

const agent = new Agent({
  name: 'web-onderzoeker',
  instructions: `
    Je bent een webonderzoeksassistent. Wanneer gebruikers je vragen om informatie van een website te halen,
    gebruik je de Olostep scrapeWebsite API om de inhoud te extraheren en deze vervolgens samen te vatten voor hen.
  `,
  model: 'openai/gpt-4',
});

// De agent kan nu Olostep API's gebruiken via Mastra's API-systeem

// 1. Kaart een website om URL's te ontdekken
const mapResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      include_urls: ['/blog/**'],
    }
  }
});

// 2. Batch scrape ontdekte URL's
const batchResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
      formats: ['markdown'],
    }
  }
});

// 3. Verwerk resultaten met je agent
const summary = await agent.generate({
  messages: [{
    role: 'user',
    content: `Vat deze inhoud samen: ${batchResult.result.markdown_content}`
  }]
});

Agent Workflow:
1. Scrape productpagina's (scrapeWebsite)
2. Extraheer gestructureerde data (met parser)
3. Volg prijswijzigingen
4. Genereer waarschuwingen
5. Update database

Agent Workflow:
1. Kaart sitestructuur (createMap)
2. Crawl belangrijke secties (createCrawl)
3. Analyseer inhoudskwaliteit
4. Identificeer SEO-kansen
5. Genereer aanbevelingen

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://www.amazon.com/dp/PRODUCT_ID',
      formats: ['json'],
      parser: '@olostep/amazon-product',
    }
  }
});

import { Mastra } from '@mastra/core';
import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Maak en registreer Olostep-integratie
const olostep = createOlostepIntegration();
olostep.registerApis();

// Initialiseer Mastra
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... andere config
  },
});

// Maak onderzoeksagent
const researchAgent = new Agent({
  name: 'onderzoeksassistent',
  instructions: `
    Je bent een onderzoeksassistent die webdata kan zoeken, extraheren en structureren.
    Wanneer gebruikers je vragen om een onderwerp te onderzoeken:
    1. Gebruik Olostep's createMap om relevante pagina's te ontdekken
    2. Gebruik batchScrape om inhoud van meerdere bronnen te extraheren
    3. Analyseer en vat de bevindingen samen
    4. Presenteer gestructureerde onderzoeksrapporten
  `,
  model: 'openai/gpt-4',
});

// Gebruik de agent
async function researchTopic(topic: string) {
  // Stap 1: Ontdek relevante pagina's
  const mapResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'createMap',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        url: `https://example.com/search?q=${topic}`,
        top_n: 20,
      }
    }
  });

  // Stap 2: Scrape ontdekte pagina's
  const batchResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'batchScrape',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
        formats: ['markdown'],
      }
    }
  });

  // Stap 3: Analyseer met agent
  const summary = await researchAgent.generate({
    messages: [{
      role: 'user',
      content: `Op basis van deze onderzoeksdata, geef een uitgebreide samenvatting van ${topic}`
    }]
  });

  return summary;
}