Olostep + Mastra Integration

npm install @olostep/mastra-tools @mastra/core

import { Mastra } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Erstelle die Olostep-Integration
const olostep = createOlostepIntegration();

// Registriere APIs (dies macht sie für Agenten verfügbar)
olostep.registerApis();

// Füge sie deiner Mastra-Konfiguration hinzu
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... andere Konfigurationen
  },
});

export OLOSTEP_API_KEY=your-api-key-here

OLOSTEP_API_KEY=your-api-key-here

// In deinem Agenten oder Workflow
const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://example.com',
      formats: ['markdown'],
      country: 'US',
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: [
        { url: 'https://example.com', custom_id: 'site1' },
        { url: 'https://test.com', custom_id: 'site2' },
      ],
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createCrawl',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      start_url: 'https://docs.example.com',
      max_pages: 50,
      follow_links: true,
      formats: ['markdown'],
    }
  }
});

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      search_query: 'blog',
      top_n: 100,
      include_urls: ['/blog/**'],
    }
  }
});

import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

const olostep = createOlostepIntegration();
olostep.registerApis();

const agent = new Agent({
  name: 'web-researcher',
  instructions: `
    Du bist ein Web-Rechercheassistent. Wenn Benutzer dich bitten, Informationen von einer Website zu holen,
    verwende die Olostep scrapeWebsite API, um den Inhalt zu extrahieren, und fasse ihn dann für sie zusammen.
  `,
  model: 'openai/gpt-4',
});

// Der Agent kann jetzt Olostep-APIs über Mastras API-System verwenden

// 1. Mappe eine Website, um URLs zu entdecken
const mapResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'createMap',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url: 'https://example.com',
      include_urls: ['/blog/**'],
    }
  }
});

// 2. Batch-scrape entdeckte URLs
const batchResult = await mastra.callApi({
  integrationName: 'olostep',
  api: 'batchScrape',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
      formats: ['markdown'],
    }
  }
});

// 3. Verarbeite Ergebnisse mit deinem Agenten
const summary = await agent.generate({
  messages: [{
    role: 'user',
    content: `Fasse diesen Inhalt zusammen: ${batchResult.result.markdown_content}`
  }]
});

Agenten-Workflow:
1. Scrape Produktseiten (scrapeWebsite)
2. Extrahiere strukturierte Daten (mit Parser)
3. Verfolge Preisänderungen
4. Erstelle Alarme
5. Aktualisiere Datenbank

Agenten-Workflow:
1. Mappe Website-Struktur (createMap)
2. Crawle wichtige Abschnitte (createCrawl)
3. Analysiere Inhaltsqualität
4. Identifiziere SEO-Möglichkeiten
5. Erstelle Empfehlungen

const result = await mastra.callApi({
  integrationName: 'olostep',
  api: 'scrapeWebsite',
  payload: {
    data: {
      apiKey: process.env.OLOSTEP_API_KEY,
      url_to_scrape: 'https://www.amazon.com/dp/PRODUCT_ID',
      formats: ['json'],
      parser: '@olostep/amazon-product',
    }
  }
});

import { Mastra } from '@mastra/core';
import { Agent } from '@mastra/core';
import { createOlostepIntegration } from '@olostep/mastra-tools';

// Erstelle und registriere Olostep-Integration
const olostep = createOlostepIntegration();
olostep.registerApis();

// Initialisiere Mastra
export const mastra = new Mastra({
  config: {
    integrations: [olostep],
    // ... andere Konfigurationen
  },
});

// Erstelle Forschungsagenten
const researchAgent = new Agent({
  name: 'research-assistant',
  instructions: `
    Du bist ein Forschungsassistent, der Webdaten suchen, extrahieren und strukturieren kann.
    Wenn Benutzer dich bitten, ein Thema zu recherchieren:
    1. Verwende Olosteps createMap, um relevante Seiten zu entdecken
    2. Verwende batchScrape, um Inhalte aus mehreren Quellen zu extrahieren
    3. Analysiere und fasse die Ergebnisse zusammen
    4. Präsentiere strukturierte Forschungsberichte
  `,
  model: 'openai/gpt-4',
});

// Verwende den Agenten
async function researchTopic(topic: string) {
  // Schritt 1: Entdecke relevante Seiten
  const mapResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'createMap',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        url: `https://example.com/search?q=${topic}`,
        top_n: 20,
      }
    }
  });

  // Schritt 2: Scrape entdeckte Seiten
  const batchResult = await mastra.callApi({
    integrationName: 'olostep',
    api: 'batchScrape',
    payload: {
      data: {
        apiKey: process.env.OLOSTEP_API_KEY!,
        batch_array: mapResult.urls.slice(0, 10).map(url => ({ url })),
        formats: ['markdown'],
      }
    }
  });

  // Schritt 3: Analysiere mit Agenten
  const summary = await researchAgent.generate({
    messages: [{
      role: 'user',
      content: `Basierend auf diesen Forschungsdaten, gib eine umfassende Zusammenfassung von ${topic}`
    }]
  });

  return summary;
}